[論文レビュー] Learning Point-Language Hierarchical Alignment for 3D Visual Grounding

Jiaming Chen, Weixin Luo+4 more|arXiv (Cornell University)|Oct 22, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、3次元視覚的グランドリングのための階層的アライメントモデル（HAM）を提案する。HAMは、多段階のポイント抽象化を通じて、語レベルおよび文レベルの言語埋め込みと視覚的表現を段階的にアライメントする、文脈制御付きのポイント-言語アライメント（PLACM）機構を導入している。この機構により、視覚的・言語的表現の動的で文脈に配慮した学習が可能となり、2つの公的データセットにおいて先行手法を顕著に上回る最先端の性能を達成した。この研究は、ECCV 2022 ScanRefer コンテストで優勝を果たした。

ABSTRACT

This paper presents a novel hierarchical alignment model (HAM) that learns multi-granularity visual and linguistic representations in an end-to-end manner. We extract key points and proposal points to model 3D contexts and instances, and propose point-language alignment with context modulation (PLACM) mechanism, which learns to gradually align word-level and sentence-level linguistic embeddings with visual representations, while the modulation with the visual context captures latent informative relationships. To further capture both global and local relationships, we propose a spatially multi-granular modeling scheme that applies PLACM to both global and local fields. Experimental results demonstrate the superiority of HAM, with visualized results showing that it can dynamically model fine-grained visual and linguistic representations. HAM outperforms existing methods by a significant margin and achieves state-of-the-art performance on two publicly available datasets, and won the championship in ECCV 2022 ScanRefer challenge. Code is available at~\url{https://github.com/PPjmchen/HAM}.

研究の動機と目的

• 3次元視覚的グランドリングにおける粗いグレインのアテンションの限界を解消し、複雑な言語および空間的関係の理解を促進すること。
• 多段階の表現学習により、3次元ポイントクラウドにおける複雑な空間的関係および長い複雑な言語クエリのモデリングを向上させること。
• 文脈制御と空間的多段階モデリングを統合することで、グローバルおよびローカルのシーン理解のための視覚的・言語的アライメントを強化すること。
• 3次元視覚的グランドリングに体系的なプロンプト工学戦略を統合し、訓練効率とモデルの頑健性を向上させること。
• 正確なオブジェクト局在化を実現するため、動的に判別的な視覚的および言語的表現を学習するエンドツーエンドのフレームワークを開発すること。

提案手法

• 本手法は、学習可能なポイント抽象化を用いて、元のポイントクラウドをキーポイントおよびプロポーザルポイントにダウンサンプリングし、3次元の文脈およびインスタンスの多段階モデリングを可能にする。
• ポイント-言語アライメントに文脈制御を組み込む（PLACM）機構を導入し、言語埋め込み（語レベルおよび文レベル）と視覚的表現との間で階層的クロスアテンションを実行する。この際、プロポーザルポイントをクエリとして用いる。
• PLACMは、キーポイント特徴と言語埋め込みを統合することで、視覚的文脈の制御を実現し、潜在的な空間的および意味的関係を捉える。
• 空間的多段階モデリング（SMGM）スキームは、空間を分割してキーポイントを局所的にグループ化することで、グローバルおよびローカルの空間フィールドにPLACMを適用する。
• 3つのプロンプト工学戦略（入力クエリの再定式化など）を統合し、訓練データの多様性を高め、一般化性能と効率性を向上させる。
• クロスアテンションメカニズムを用いてエンドツーエンドでモデルを訓練し、アテンション重みを可視化することで、動的で文脈に配慮した表現学習の有効性を示している。

実験結果

リサーチクエスチョン

• RQ1 言語とポイントクラウド表現の間で階層的かつ多段階のアライメントを実現することで、3次元視覚的グランドリングの性能が向上するか？
• RQ2 視覚的・言語的アテンションにおける文脈制御は、複雑な空間的関係を捉える能力をどのように向上させるか？
• RQ3 空間的多段階モデリングは、グローバルおよびローカルのシーンコンテキストのモデリングにどの程度寄与するか？
• RQ4 体系的なプロンプト工学は、3次元視覚的グランドリングモデルの頑健性と効率性を向上させるか？
• RQ5 提案されたHAMフレームワークは、3次元視覚的グランドリングのベンチマークデータセットで最先端の性能を達成するか？

主な発見

• HAMは2つの公的3次元視覚的グランドリングベンチマークで最先端の性能を達成し、既存の手法を顕著に上回った。
• ECCV 2022 ScanRefer コンテストで1位を獲得し、バリデーションおよびテストセットの両方で優れた一般化性能と頑健性を示した。
• アブレーションスタディの結果、PLACM機構とSMGMスキームの両方が性能向上に不可欠であり、それぞれが局在化精度の向上に寄与していることが確認された。
• 可視化結果から、HAMは言語的モodulationに基づいて、関連する領域に高いアテンション重みを割り当て、判別的な表現学習が行われていることが示された。
• プロンプト工学戦略の統合により、訓練効率とモデルの一般化性能が向上し、データセット全体で一貫した性能向上が確認された。
• 複雑なシーン、たとえば「シンクの上に」や「右側にタオルを添えたハンドルを持つもの」といった、複雑な言語的および空間的関係を効果的に局在化できた。