[論文レビュー] 3D-SPS: Single-Stage 3D Visual Grounding via Referred Point Progressive Selection

Junyu Luo, Jiahui Fu+6 more|arXiv (Cornell University)|Apr 13, 2022

Multimodal Machine Learning Applications参考文献 46被引用数 5

ひとこと要約

3D-SPSは、3次元点群内の参照オブジェクトを直接局所化するために、段階的に言語にガイドされたキーポイントを選択する1段階型の3次元視覚的グランドイング手法を提案する。Description-aware Keypoint Sampling (DKS) と Target-oriented Progressive Mining (TPM) を組み合わせることで、ScanRefer および Nr3D/Sr3D で最先端の性能を達成し、検出とマッチングを分離する従来の2段階的手法に比べて、エンドツーエンドで段階的な精錬を実現することで優れた性能を発揮する。

ABSTRACT

3D visual grounding aims to locate the referred target object in 3D point cloud scenes according to a free-form language description. Previous methods mostly follow a two-stage paradigm, i.e., language-irrelevant detection and cross-modal matching, which is limited by the isolated architecture. In such a paradigm, the detector needs to sample keypoints from raw point clouds due to the inherent properties of 3D point clouds (irregular and large-scale), to generate the corresponding object proposal for each keypoint. However, sparse proposals may leave out the target in detection, while dense proposals may confuse the matching model. Moreover, the language-irrelevant detection stage can only sample a small proportion of keypoints on the target, deteriorating the target prediction. In this paper, we propose a 3D Single-Stage Referred Point Progressive Selection (3D-SPS) method, which progressively selects keypoints with the guidance of language and directly locates the target. Specifically, we propose a Description-aware Keypoint Sampling (DKS) module to coarsely focus on the points of language-relevant objects, which are significant clues for grounding. Besides, we devise a Target-oriented Progressive Mining (TPM) module to finely concentrate on the points of the target, which is enabled by progressive intra-modal relation modeling and inter-modal target mining. 3D-SPS bridges the gap between detection and matching in the 3D visual grounding task, localizing the target at a single stage. Experiments demonstrate that 3D-SPS achieves state-of-the-art performance on both ScanRefer and Nr3D/Sr3D datasets.

研究の動機と目的

• 検出とマッチングを分離する2段階型の3次元視覚的グランドイングパイプラインの限界を克服し、スパースまたはドメイントの提案問題を解消すること。
• 3次元検出器における言語に無関係なキーポイントのサンプリングを是正し、提案におけるターゲットオブジェクトの表現不足を解消すること。
• 言語記述と相互モodal注意に基づいてキーポイント選択を段階的に精錬することで、グランドイングの精度を向上させること。
• 検出とマッチングを1つの整合的な段階に統合し、人間の粗いから細かい推論に類似したプロセスを再現すること。

提案手法

• オブジェクトの信頼度と記述の関連スコアを用いて、言語に関連するオブジェクトのポイントに粗く焦点を当てる Description-aware Keypoint Sampling (DKS) を導入する。
• 自己注意およびクロス注意を用いてモodal内およびモダリティ間の関係をモデル化することで、段階的にキーポイント選択を精錬する Target-oriented Progressive Mining (TPM) を採用する。
• 言語-ポイント間のクロス注意マップを用いて、言語記述が注目するポイントを動的に選択し、段階的にターゲットに集中させる。
• キーポイント特徴をグローバルポイント特徴と統合することで、シーンレベルの文脈を維持し、局所化の認識を向上させる。
• 複数層にわたる段階的精錬を適用し、各層で不要なキーポイントを除外し、ターゲット関連の特徴を強化する。
• 精錬された、ターゲットに焦点を当てたキーポイント集合から直接エンドツーエンドでボクセルボックス回帰を実行し、別個のマッチング工程を不要にする。

実験結果

リサーチクエスチョン

• RQ1 検出とマッチングの分離を排除することで、2段階型手法に比べて1段階型の3次元視覚的グランドイングフレームワークが優れた性能を発揮できるか？
• RQ2 スパースな3次元点群において、キーポイントのサンプリングをどのように言語に適応させれば、ターゲットの表現を向上させられるか？
• RQ3 静的キーポイント選択と比較して、段階的なキーポイント精錬がグランドイング精度をどの程度向上させるか？
• RQ4 クロス注意に基づく段階的マイニングは、類似するオブジェクトから正しいターゲットを識別する能力を向上させるか？
• RQ5 精錬されたキーポイントとグローバルポイント特徴を統合することで、局所化性能にどのような影響を与えるか？

主な発見

• 3D-SPSは、ScanRefer データセットで最先端の性能を達成し、従来の2段階型手法を顕著に上回った。
• Nr3D/Sr3D ベンチマークでは、3D-SPSは新たな最先端の結果を達成し、多様な3次元グランドイングシナリオに強く一般化できることを示した。
• アブレーションスタディにより、DKS と TPM の両方が不可欠であり、オブジェクト信頼度と記述関連スコアの併用が最良のキーポイント選択をもたらすことが確認された。
• TPMにおける段階的キーポイント選択は一貫した性能向上をもたらし、4層が精度と耐障害性の最適なバランスを達成した。
• 選択なしのアブレーションでは、キーポイント数の増加に伴い性能がピークに達した後、低下することが示され、段階的フィルタリングの必要性が裏付けられた。
• 定性的な結果から、3D-SPSが '机の上' や 'ベッドの下' といった異なる記述に応じてキーポイント選択を動的に適応し、言語に適応した推論を示していることがわかった。