[論文レビュー] Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud

Mingtao Feng, Zhen Li+7 more|arXiv (Cornell University)|Mar 30, 2021

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本稿では、複雑な言語構造と3次元シーンの関係性をモデル化することで、ポイントクラウドにおける3次元オブジェクトグランドイングを向上させる自由形式の記述誘導型3次元視覚グラフネットワークを提案する。文脈に配慮したフレーズ表現のための言語シーングラフ、視覚特徴を精緻化するためのマルチレベル3次元プロポーザル関係グラフ、およびグローバルな文脈符号化のための記述誘導型3次元視覚グラフを導入し、ScanReferおよびNr3Dベンチマークで最先端の性能を達成した。

ABSTRACT

3D object grounding aims to locate the most relevant target object in a raw point cloud scene based on a free-form language description. Understanding complex and diverse descriptions, and lifting them directly to a point cloud is a new and challenging topic due to the irregular and sparse nature of point clouds. There are three main challenges in 3D object grounding: to find the main focus in the complex and diverse description; to understand the point cloud scene; and to locate the target object. In this paper, we address all three challenges. Firstly, we propose a language scene graph module to capture the rich structure and long-distance phrase correlations. Secondly, we introduce a multi-level 3D proposal relation graph module to extract the object-object and object-scene co-occurrence relationships, and strengthen the visual features of the initial proposals. Lastly, we develop a description guided 3D visual graph module to encode global contexts of phrases and proposals by a nodes matching strategy. Extensive experiments on challenging benchmark datasets (ScanRefer and Nr3D) show that our algorithm outperforms existing state-of-the-art. Our code is available at https://github.com/PNXD/FFL-3DOG.

研究の動機と目的

• 複雑で自由形式の自然言語記述を用いた3次元ポイントクラウドにおけるオブジェクトグランドイングの課題に対処すること。
• 多様で複文構造を持つ記述における長距離依存関係と構造的関係をモデル化すること。
• オブジェクト同士およびオブジェクト-シーンの共起関係を活用して、粗い3次元オブジェクトプロポーザルの視覚的特徴表現を向上させること。
• 誘導型グラフ学習を通じて、言語的フレーズと3次元視覚的プロポーザルの間のクロスモーダル整合性を向上させること。
• 複雑な空間的・意味的関係を有するごみくずだらけの3次元シーンにおいて、より正確かつ頑健なオブジェクト局所化を実現すること。

提案手法

• 自由形式の記述を名詞句、代名詞、関係節に解析し、文脈に配慮したフレーズ表現を学ぶためにメッセージパッシングを用いた言語シーングラフを構築する。
• オブジェクト同士およびオブジェクト-シーンの共起関係を用いて、VoteNetベースのプロポーザルから得られる初期視覚特徴を精緻化するマルチレベル3次元プロポーザル関係グラフを構築する。
• 精緻化されたプロポーザル上に、名詞句に一致するプロポーザルインスタンスをノードとして、ノード間の関係をエンコードするエッジを有する記述誘導型3次元視覚グラフを構築する。
• 3次元視覚グラフのノードを言語シーングラフのノードと照合戦略を用いてマッチングし、照合スコアを統合して最終的なグランドイング予測を生成する。
• 言語グラフおよび視覚グラフの両方でメッセージパッシングを用いて、ノード間を横断する文脈情報を伝搬させ、表現学習を強化する。
• クロスアテンション機構を用いて、言語的特徴と視覚的特徴を統合的に最適化し、IoUベースのグランドイング精度を最適化するエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の節や空間的関係を含む複雑な長文自然言語記述を、3次元オブジェクトグランドイングに効果的にモデル化する方法は何か？
• RQ2 3次元シーンにおけるオブジェクト同士およびオブジェクト-シーンの共起関係は、初期3次元オブジェクトプロポーザルの品質をどの程度向上させ得るか？
• RQ3 言語的および視覚的構造を両方モデル化するグラフベースのアプローチは、言語と視覚の埋め込みを統合的に統合するアプローチを上回る性能を発揮できるか？
• RQ4 言語誘導型のプロポーザルのプルーニングおよび精緻化統合は、曖昧またはごみくずだらけの3次元シーンにおける性能にどのように影響を与えるか？
• RQ5 文脈に配慮した構造的表現は、ScanReferやNr3Dのような挑戦的なベンチマークにおけるグランドイング精度の向上にどの程度寄与するか？

主な発見

• 提案手法は、ScanReferベンチマークにおいて、IoU閾値0.5での精度が7.5%向上し、顕著な性能向上を示した。
• Nr3Dデータセットでは、ReferIt3Dに対して6.1%、InstanceReferに対して2.9%の精度向上を達成し、複雑なシーンへの汎用性が優れていることが示された。
• 複数のオブジェクトクラスを含むシーンでは、IoU 0.5における精度が2.8%向上し、複雑な空間的関係の処理における有効性が裏付けられた。
• 「ユニーク」ケースでは約1.5%の精度向上、「複数」ケースでは約2.8%の精度向上を達成し、曖昧でごみくずだらけのシーンの処理能力が優れていることが示された。
• 定性的な結果から、本手法は空間的関係や複数の参照を含む複雑な記述に対しても正しくオブジェクトを局所化できるのに対し、ベースライン手法は曖昧なケースで失敗することが確認された。
• 可視化結果から、言語シーングラフが関連する3次元プロポーザルに適切にマッチしており、3次元視覚グラフが言語的文脈に基づいて冗長なプロポーザルを効果的にプルーニング・精緻化していることが確認された。