[論文レビュー] LanguageRefer: Spatial-Language Model for 3D Visual Grounding

Junha Roh, Karthik Desingh+2 more|arXiv (Cornell University)|Jul 7, 2021

Multimodal Machine Learning Applications参考文献 43被引用数 22

ひとこと要約

LanguageReferは、3Dバウンディングボックスからの空間埋め込みと微調整されたDistilBERT埋め込みを融合させることで、ノイズの多い3Dシーンにおける参照オブジェクトを特定するトランスフォーマー基盤の空間言語モデルを提案する。ReferIt3Dにおいて、空間的推論を認識ノイズから分離することで最先端の性能を達成し、Nr3Dでは48.2%の正確度を達成し、修正された視点アノテーションを用いることで視点依存の発話に対して12.7%の向上を示した。

ABSTRACT

For robots to understand human instructions and perform meaningful tasks in the near future, it is important to develop learned models that comprehend referential language to identify common objects in real-world 3D scenes. In this paper, we introduce a spatial-language model for a 3D visual grounding problem. Specifically, given a reconstructed 3D scene in the form of point clouds with 3D bounding boxes of potential object candidates, and a language utterance referring to a target object in the scene, our model successfully identifies the target object from a set of potential candidates. Specifically, LanguageRefer uses a transformer-based architecture that combines spatial embedding from bounding boxes with fine-tuned language embeddings from DistilBert to predict the target object. We show that it performs competitively on visio-linguistic datasets proposed by ReferIt3D. Further, we analyze its spatial reasoning task performance decoupled from perception noise, the accuracy of view-dependent utterances, and viewpoint annotations for potential robotics applications.

研究の動機と目的

• 認識ノイズから空間的推論を分離することで、3D視覚的グランドイングを向上させるモジュラーでエンドツーエンドの空間言語モデルの開発。
• 視点依存の発話における視点の曖昧さが3D視覚的グランドイングのモデル性能に与える影響の調査。
• 視点依存の発話に対して人間が検証した方向を用いた修正された視点アノテーションを導入することで、モデルのロバスト性と解釈可能性の向上。
• 異なるデータセットへの一般化性能の評価および参照言語を伴うロボティクスアプリケーションへの潜在的応用の検討。
• 個々の損失項の寄与とクラスラベル品質がモデルの正確度に与える影響の分析。

提案手法

• モデルは、言語発話とオブジェクトのバウンディングボックスからの3D空間的情報を同時に符号化するトランスフォーマー基盤のアーキテクチャを採用する。
• 空間埋め込みは、3Dバウンディングボックスの座標を位置エンコーディングを用いて処理することで、空間的関係を表現する。
• 言語埋め込みは、ターゲットオブジェクトの自然言語記述を処理する微調整済みのDistilBERTから得られる。
• 空間言語モデルは、マルチモーダル埋め込みに基づいて最も関連性の高いオブジェクト候補に注目することで、ターゲットオブジェクトを予測する。
• モジュラーなパイプラインにより、認識（オブジェクトクラスラベル）、空間埋め込み、言語埋め込み、空間言語推論モジュールを分離し、柔軟性と解釈可能性を向上させる。
• 視点依存の発話に対して、人間が検証した方向を収集することで、修正された視点アノテーションを導入し、学習および推論時における一貫性のあるシーンアライメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 認識ノイズから空間的推論を分離することで、3D視覚的グランドイングの性能にどのような影響を与えるか？
• RQ2 視点依存の発話における視点の曖昧さがモデルの正確度をどの程度低下させるか、またその影響を軽減できるか？
• RQ3 実世界のノイズのある3Dシーンにおいて、真値クラスラベルと予測されたラベルを用いた場合、モデルの効果はどの程度か？
• RQ4 分類損失、マスク損失、テキスト損失といった異なる損失項がモデルの性能と一般化に与える影響は何か？
• RQ5 モデルは異なるデータセットに一般化可能か？また、参照言語指示を伴うロボティクスアプリケーションに適しているか？

主な発見

• LanguageReferはNr3Dベンチマークで48.2%の正確度を達成し、追加の学習データが不要な最先端のモデルを上回った。
• 修正された視点アノテーションを用いることで、視点依存の発話に対して12.7%の正確度向上を示し、一貫性のある空間的アライメントによる顕著な向上を示した。
• 予測されたクラスラベルを用いたSr3Dデータセットでは40.6%の正確度を達成し、合成的でテンプレートベースの言語に対してもロバストであることを示した。
• アブレーションスタディの結果、分類損失は性能向上に寄与したが、テキスト損失は正確度を低下させたため、最終モデルではテキスト損失項を削除した。
• 修正された方向で学習したモデルは、全体のテストセットで50.7%の正確度を達成し、補正なしのベースラインより5.1%向上した。
• 視点に依存しない発話においても高い性能（46.4%の正確度）を維持したため、視点に依存しない参照に強い一般化能力を示した。