[論文レビュー] Mask3D: Mask Transformer for 3D Semantic Instance Segmentation

Jonas Schult, Francis Engelmann+4 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

Mask3D は、幾何的投票やクラスタリングのヒューリスティクスに依存せずに、学習可能なインスタンスクエリを用いてポイントクラウドからインスタンスマスクを直接予測する、トランスフォーマーに基づく新しいアプローチを提案する。複数のベンチマークで最先端の性能を達成しており、ScanNet200 では +12.4 mAP の向上を示した。

ABSTRACT

Modern 3D semantic instance segmentation approaches predominantly rely on specialized voting mechanisms followed by carefully designed geometric clustering techniques. Building on the successes of recent Transformer-based methods for object detection and image segmentation, we propose the first Transformer-based approach for 3D semantic instance segmentation. We show that we can leverage generic Transformer building blocks to directly predict instance masks from 3D point clouds. In our model called Mask3D each object instance is represented as an instance query. Using Transformer decoders, the instance queries are learned by iteratively attending to point cloud features at multiple scales. Combined with point features, the instance queries directly yield all instance masks in parallel. Mask3D has several advantages over current state-of-the-art approaches, since it neither relies on (1) voting schemes which require hand-selected geometric properties (such as centers) nor (2) geometric grouping mechanisms requiring manually-tuned hyper-parameters (e.g. radii) and (3) enables a loss that directly optimizes instance masks. Mask3D sets a new state-of-the-art on ScanNet test (+6.2 mAP), S3DIS 6-fold (+10.1 mAP), STPLS3D (+11.2 mAP) and ScanNet200 test (+12.4 mAP).

研究の動機と目的

• 幾何的投票やクラスタリングのヒューリスティクスといった手動で調整されたコンponents に依存する現在の 3D インスタンスセグメンテーション手法の限界を克服すること。
• 投票の代理損失を避けるために、直接的なマスクの監視信号を用いたエンドツーエンドの学習を可能にすること。
• トランスフォーマーのアテンションメカニズムを活用し、ポイント特徴とインスタンスクエリを同時に考慮してマスク予測のための特徴を学習すること。
• 純粋なトランスフォーマーに基づくアーキテクチャが、既存の CNN に基づく手法を上回ることを示すこと。
• アテンションに基づくクエリデコードを用いて、同時にセマンティックラベルとインスタンスマスクを予測する統一的かつ微分可能なフレームワークを提供すること。

提案手法

• トランスフォーマーのデコーダーを介して、マルチスケールのポイントクラウド特徴にアテンションを計算する学習可能な埋め込みとしてのインスタンスクエリを用いる。
• 各インスタンスクエリは、マルチヘッド自己アテンションとポイント特徴とのクロスアテンションを通じて、ポイント特徴と統合され、インスタンス固有の特徴が生成される。
• インスタンス特徴とポイントクラウド内のすべてのポイント特徴との類似度スコアを計算することで、インスタンスマスクを予測する。
• 訓練中は、予測と真値インスタンスを対応付けるために、二部マッチング戦略（ハンガリアンマッチング）を採用する。
• 前景・背景クラスの不均衡を扱うために、バイナリクロスエントロピー損失と Dice 損失を組み合わせてマスクの監視に用いる。
• パラメトリックなクエリ初期化よりも性能を向上させるために、非パラメトリックなクエリ初期化として、最も遠い点抽出（FPS）を用いる。

Figure 2: Illustration of the Mask3D model. The feature backbone outputs multi-scale point features $\mathbf{F}$ , while the Transformer decoder iteratively refines the instance queries $\mathbf{X}$ . Given point features and instance queries, the mask module predicts for each query a semantic class

実験結果

リサーチクエスチョン

• RQ1 幾何的投票やクラスタリングのヒューリスティクスに依存せずに、純粋なトランスフォーマーに基づくアーキテクチャが 3D インスタンスマスクを直接予測できるか？
• RQ2 微分可能な損失によるエンドツーエンドのマスク監視は、投票の代理損失と比較して、3D インスタンスセグメンテーションにおいてどのように異なるか？
• RQ3 クエリ初期化戦略（パラメトリック対非パラメトリック）がモデル性能に与える影響は何か？
• RQ4 インスタンスクエリの数が推論の品質と効率に与える影響は何か？
• RQ5 自己アテンションメカニズムは、大規模な 3D シーン全体にわたり長距離の依存関係を効果的に捉えることができるか？

主な発見

• Mask3D は、ScanNet テストスプリットにおいて、先行手法より +6.2 mAP の向上を達成し、新たな SOTA を樹立した。
• S3DIS 6-fold フォールドでは、前回の SOTA と比較して mAP が +10.1 向上した。
• STPLS3D では、+11.2 mAP の向上を達成し、ドメイン間の一般化性能が優れていることを示した。
• ScanNet200 では、+12.4 mAP の向上を記録し、大規模かつ細分化されたカテゴリに対して高いロバスト性を示した。
• FPS を用いた非パラメトリックなクエリ初期化が、パラメトリックなクエリを上回る性能を示し、特にクエリをゼロで初期化した場合に最良の性能を発揮した。
• モデルは初期のデコーダー層でマスク品質が著しく向上し、4 層を過ぎると収束傾向を示し、効果的な特徴の精錬が行われていることが示された。

Figure 3: Number of queries and decoder layers.