[論文レビュー] 3D-QueryIS: A Query-based Framework for 3D Instance Segmentation

Jiaheng Liu, Tong He+7 more|arXiv (Cornell University)|Nov 17, 2022

3D Shape Modeling and Analysis被引用数 13

ひとこと要約

本稿では、検出器フリー、セマンティックセグメンテーションフリー、クラスタリングフリーである3Dインスタンスセグメンテーションの新しいクエリベースフレームワーク、3D-QueryISを提案する。インスタンスクエリは、暗黙的な代表点生成とトランスフォーマーに基づくデコーダーを介して生成され、相互依存性が低減され、推論効率が向上するエンドツーエンドのマスクおよびクラス予測を可能にする。複数のベンチマークで最先端の性能を達成し、ScanNetV2では85msの推論時間である。

ABSTRACT

Previous top-performing methods for 3D instance segmentation often maintain inter-task dependencies and the tendency towards a lack of robustness. Besides, inevitable variations of different datasets make these methods become particularly sensitive to hyper-parameter values and manifest poor generalization capability. In this paper, we address the aforementioned challenges by proposing a novel query-based method, termed as 3D-QueryIS, which is detector-free, semantic segmentation-free, and cluster-free. Specifically, we propose to generate representative points in an implicit manner, and use them together with the initial queries to generate the informative instance queries. Then, the class and binary instance mask predictions can be produced by simply applying MLP layers on top of the instance queries and the extracted point cloud embeddings. Thus, our 3D-QueryIS is free from the accumulated errors caused by the inter-task dependencies. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness and efficiency of our proposed 3D-QueryIS method.

研究の動機と目的

• 検出器、セマンティックセグメンテーションヘッド、またはヒューリスティッククラスタリングに依存する既存の3Dインスタンスセグメンテーション手法が抱える相互依存性の問題を解決すること。
• 検出、セマンティック、クラスタリングの各コンポonent間の依存関係を排除することで、誤差の蓄積を低減し、一般化性能を向上させること。
• 中間の教師信号を必要とせず、学習可能なクエリを直接用いてインスタンスマスクとクラスを予測する、より単純で効率的なフレームワークを設計すること。
• クエリ生成とマスク予測ステージの最適化により、最小限の計算コストで高い性能を達成すること。

提案手法

• 本手法は、初期特徴抽出、インスタンスクエリ生成、インスタンスマスク予測の3段階パイプラインを採用する。
• インスタンスクエリ生成段階では、ボクセル埋め込みから情報量の多い暗黙的な代表点を生成するための代表点生成（RPG）モジュールを導入し、ノイズと計算コストを低減する。
• インスタンスクエリデコーダー（IQD）は、初期クエリと代表点の間でクロスアテンションを用いたトランスフォーマー・デコーダーを用い、文脈に配慮したインスタンスクエリを生成する。
• インスタンスマスク予測段階では、生成されたインスタンスクエリに個別のMLPヘッドを適用し、クラスラベルとバイナリインスタンスマスクを予測する。
• 全フレームワークはエンドツーエンドで学習可能であり、バウンディングボックス検出器、セマンティックセグメンテーション、クラスタリングヒューリスティクスへの依存を回避する。
• 学習可能なクエリ初期化と自己アテンション機構を活用し、各インスタンスクエリがグローバルな文脈を捉える。

実験結果

リサーチクエスチョン

• RQ1 クエリベースの3Dインスタンスセグメンテーションフレームワークは、検出器ベースおよびグループ化ベース手法に内在する相互依存性を排除できるか？
• RQ2 学習可能な暗黙的代表点生成戦略は、インスタンスクエリの品質向上と計算コスト低減にどの程度効果的か？
• RQ3 検出器フリー、セグメンテーションフリー、クラスタリングフリーなフレームワークは、どの程度最先端の性能と推論効率を達成できるか？
• RQ4 クエリ数と代表点数の変更が、精度と推論速度のトレードオフにどの程度影響を与えるか？

主な発見

• 3D-QueryISは、ScanNetV2、S3DIS、Waymoを含む複数のベンチマークデータセットで最先端の性能を達成し、mAPとmIoUの両面で顕著な向上を示した。
• ScanNetV2の検証セットでは1スキャンあたりたったの85msの推論時間で、既存手法を大きく上回り、全モジュールがGPU上で実行された。
• アブレーションスタディの結果、クエリ数（K）を50から100に増加させることで性能が向上し、K=100を超えるとわずかな増加にとどまることがわかった。
• 代表点数（J）は2000点まで性能向上に寄与するが、それ以上になると増加が止まり、精度とコストの安定したトレードオフが実現していることが示された。
• 可視化結果から、3D-QueryISはセマンティック予測からの誤差伝搬を回避していることが確認された。これに対して、SoftGroupのような手法はセマンティックブランチからの誤差を引き継いでいる。
• 本手法は優れた一般化性能を示しており、異なるデータセット間でハイパーパrameterの再調整を必要とせず、従来手法がデータセットの変化に敏感であるのとは対照的である。