[論文レビュー] AGILE3D: Attention Guided Interactive Multi-object 3D Segmentation

Yuanwen Yue, Sabarinath Mahadevan+5 more|arXiv (Cornell University)|Jun 1, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

AGILE3Dは、空間的・時間的クリッククエリを用いて3次元点群に複数のオブジェクトを同時にセグメンテーションする、アテンションガイドドでインタラクティブな3次元セグメンテーションフレームワークを導入する。これにより、より少ないユーザーのクリックで高速な推論と高い精度を実現する。クリックと3次元シーンの明示的な相互作用をクリックアテンションモジュールでモデル化することで、単一および複数オブジェクト設定の両方で最先端の性能を達成し、特に少ないクリック数の環境下でも優れた性能を発揮する。

ABSTRACT

During interactive segmentation, a model and a user work together to delineate objects of interest in a 3D point cloud. In an iterative process, the model assigns each data point to an object (or the background), while the user corrects errors in the resulting segmentation and feeds them back into the model. The current best practice formulates the problem as binary classification and segments objects one at a time. The model expects the user to provide positive clicks to indicate regions wrongly assigned to the background and negative clicks on regions wrongly assigned to the object. Sequentially visiting objects is wasteful since it disregards synergies between objects: a positive click for a given object can, by definition, serve as a negative click for nearby objects. Moreover, a direct competition between adjacent objects can speed up the identification of their common boundary. We introduce AGILE3D, an efficient, attention-based model that (1) supports simultaneous segmentation of multiple 3D objects, (2) yields more accurate segmentation masks with fewer user clicks, and (3) offers faster inference. Our core idea is to encode user clicks as spatial-temporal queries and enable explicit interactions between click queries as well as between them and the 3D scene through a click attention module. Every time new clicks are added, we only need to run a lightweight decoder that produces updated segmentation masks. In experiments with four different 3D point cloud datasets, AGILE3D sets a new state-of-the-art. Moreover, we also verify its practicality in real-world setups with real user studies.

研究の動機と目的

• ユーザーが1つのオブジェクトにクリックした際に、隣接するオブジェクトのセグメンテーションに暗黙的に情報を与えることによって、インタラクティブな設定における逐次的単一オブジェクト3次元セグメンテーションの非効率性を是正すること。
• ユーザーのクリックと3次元シーンの相互作用をモデル化することで、複数の3次元オブジェクトを同時に、文脈を意識した形でセグメンテーションすること。
• 特徴抽出とクリック処理を分離することで、各ユーザーのインタラクション後に軽量な再推論が可能となるように、推論時間を短縮すること。
• 空間的・時間的位置符号化を用いてユーザーのクリックを高次元クエリとして符号化することで、セグメンテーションの精度とサンプル効率を向上させること。
• 多様な3次元データセットにおけるベンチマークと実世界のユーザースタディを通じて、モデルの実用性を検証すること。

提案手法

• ユーザーのクリックが2値のクリックマップではなく、高次元特徴クエリとして符号化され、3次元点特徴と直接統合可能となる。
• クリックとしてのクエリモジュールが、各クリックに空間的・時間的位置符号化を追加することで、ユーザーのフィードバックの順序と位置を保持する。
• クリックアテンションモジュールが、3通りの相互作用を可能にし、文脈的推論を実現する：クリック→シーン、シーン→クリック、クリック→クリックのアテンション。
• クエリ統合モジュールが、すべてのクリッククエリを競合的アテンション機構を通じて統合し、包括的なセグメンテーションマスクを生成する。
• 3次元バックボーンは事前に計算され、ユーザーの各インタラクションに対して軽量なデコーダー（クリックアテンションとクエリ統合）のみを再実行することで、高速な推論を実現する。
• モデルは、現実的なユーザーのフィードバックをシミュレートする反復的学習戦略を用いて訓練され、一般化性能と低ショット性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 複数のオブジェクトを逐次的ではなく同時に処理することで、インタラクティブ3次元セグメンテーションの効率性と正確性を向上させることができるか？
• RQ2 ユーザーのクリックの空間的・時間的符号化は、反復的アノテーションのシナリオにおいてモデルの性能をどのように向上させるか？
• RQ3 明示的なクリック→シーンおよびクリック→クリックのアテンション機構は、セグメンテーションの正確性と一般化性能をどの程度向上させるか？
• RQ4 クエリベースでアテンション駆動のアーキテクチャは、推論時間を短縮しつつ、セグメンテーション品質を維持または向上させることができるか？
• RQ5 実世界のユーザースタディにおいて、従来のベースラインと比較して、モデルは実用的なアノテーションシナリオでどの程度の性能を発揮するか？

主な発見

• S3DISデータセットにおいて、10回のクリックで平均IoUが84.4%を達成し、従来の最先端手法を大きく上回った。
• 低クリック数環境（10クリック）において、AGILE3Dは前回のSOTAと比較して10.7%少ないクリック数でセグメンテーションを実現し、優れたサンプル効率を示した。
• クリック→シーンまたはクリック→クリックのアテンション機構を削除すると、IoUが最大5.2ポイント低下し、これらの機構が性能に果たす重要な役割が確認された。
• KITTI-360では、空間的および時間的符号化の両方を含めることで、最大5.4ポイントの性能向上が得られ、特に複雑で動的なシーンで顕著であった。
• ユーザースタディの結果、AGILE3Dはより少ないクリック数で迅速なアノテーションが可能であり、ユーザーは逐次的手法と比較して、セグメンテーション結果に対する高い自信を示した。
• モデルは未学習のオブジェクトカテゴリに対しても良好に一般化され、特にクリック→クリックアテンションにより、オブジェクト間の推論が促進され、強いゼロショット性能を発揮した。