[論文レビュー] ScanEnts3D: Exploiting Phrase-to-3D-Object Correspondences for Improved Visio-Linguistic Models in 3D Scenes

Ahmed Abdelreheem, Kyle Olszewski+3 more|arXiv (Cornell University)|Dec 12, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、84,000文および705シーンにわたる参照的3D文における全名詞句を、対応する3Dオブジェクト（ターゲットおよびアンカー）にリンクする大規模なデータセット、ScanEnts3Dを紹介する。これらの名詞句からオブジェクトへの対応関係を活用する新しい損失関数とアーキテクチャの変更を用いて訓練することで、神経的聴取において+4.3%および+5.0%の向上を達成し、神経的発話においてNr3Dで+13.2 CIDErポイントの向上を示した。これらは推論時における追加のアノテーションを一切必要としない。

ABSTRACT

The two popular datasets ScanRefer [16] and ReferIt3D [3] connect natural language to real-world 3D data. In this paper, we curate a large-scale and complementary dataset extending both the aforementioned ones by associating all objects mentioned in a referential sentence to their underlying instances inside a 3D scene. Specifically, our Scan Entities in 3D (ScanEnts3D) dataset provides explicit correspondences between 369k objects across 84k natural referential sentences, covering 705 real-world scenes. Crucially, we show that by incorporating intuitive losses that enable learning from this novel dataset, we can significantly improve the performance of several recently introduced neural listening architectures, including improving the SoTA in both the Nr3D and ScanRefer benchmarks by 4.3% and 5.0%, respectively. Moreover, we experiment with competitive baselines and recent methods for the task of language generation and show that, as with neural listeners, 3D neural speakers can also noticeably benefit by training with ScanEnts3D, including improving the SoTA by 13.2 CIDEr points on the Nr3D benchmark. Overall, our carefully conducted experimental studies strongly support the conclusion that, by learning on ScanEnts3D, commonly used visio-linguistic 3D architectures can become more efficient and interpretable in their generalization without needing to provide these newly collected annotations at test time. The project's webpage is https://scanents3d.github.io/ .

研究の動機と目的

• 従来の3D視覚言語データセットがターゲットオブジェクトのみに注目しているという限界に対処すること。
• 言語に根ざした対応関係を通じて、オブジェクト同士の関係を明示的にモデル化することで、3Dシーン理解を向上させること。
• 推論時に追加のアノテーションを必要としない状態で、トレーニング時に名詞句から3Dオブジェクトへの対応関係を活用する新しいトレーニング損失関数およびアーキテクチャの変更を開発すること。
• 複数オブジェクトへのグランドイングから学習することで、神経的聴取および言語生成タスクにおける汎化性とロバスト性が向上することを示すこと。
• 84,000文にわたる369,000のフレーズ-オブジェクト対応関係を含むデータセットを構築することで、3D視覚言語理解の新しいベンチマークを確立すること。

提案手法

• 参照的文に言及されるすべてのオブジェクト（ターゲットおよびアンカーを含む）の明示的グランドイングを追加することで、Nr3DおよびScanReferを拡張してScanEnts3Dを構築した。
• 入力発話に言及されるアンカー物体の予測を監視するための新しいトレーニング損失、$\mathcal{L}_{\mathrm{anc}}$ を提案した。
• 推論時に注意メカニズムが関連するアンカー物体に注目するよう促すために、$\mathcal{L}_{\mathrm{attn}}$ を導入した。
• 同クラスの干渉オブジェクト（頻繁に言及される）を区別できるようにモデルを訓練することで、汎化性を向上させるための$\mathcal{L}_{\mathrm{dis}}$ を設計した。
• MVT、SATCap、M2Capなどの既存の神経的リスナーおよびスピーカーのアーキテクチャを変更し、新しい損失関数を用いてターゲットおよびアンカー物体を同時に予測できるようにした。
• 新しいScanEnts3Dデータおよび損失関数を用いてモデルを訓練したが、推論時には変更を加えず、追加のアノテーションやモダリティをテスト時に必要としなかった。

実験結果

リサーチクエスチョン

• RQ1 ターゲットオブジェクトに加えて、参照文に言及されるすべてのオブジェクトをモデル化することで、3D視覚言語理解が向上するか？
• RQ2 アンカー物体のグランドイングに対する明示的監視は、神経的聴取および言語生成の性能にどのように影響するか？
• RQ3 提案された損失関数（$\mathcal{L}_{\mathrm{anc}}$、$\mathcal{L}_{\mathrm{attn}}$、$\mathcal{L}_{\mathrm{dis}}$）は、モデルの汎化性およびロバスト性をどの程度向上させるか？
• RQ4 新しいアノテーションおよびトレーニングパラダイムは、アーキテクチャの大幅な見直しを伴わずに、既存のアーキテクチャに効果的に統合できるか？
• RQ5 複数オブジェクトへのグランドイングから学習することで、より解釈可能で判別力のある言語ベースのシーン理解が実現できるか？

主な発見

• 提案手法は、神経的聴取においてNr3Dベンチマークで4.3%の絶対的向上、ScanReferベンチマークで5.0%の向上を達成し、新たな最先端性能を確立した。
• 神経的発話において、M2Cap-ScanEntsモデルはNr3DベンチマークでCIDErスコアに13.2ポイントの向上を示し、新たな最先端性能を樹立した。
• アンカー予測損失（$\mathcal{L}_{\mathrm{anc}}$）が、提案されたすべての損失関数の中で最大の性能向上をもたらした。特に困難な文脈において顕著な向上が見られた。
• 3つの損失関数（$\mathcal{L}_{\mathrm{anc}}$、$\mathcal{L}_{\mathrm{attn}}$、$\mathcal{L}_{\mathrm{dis}}$）を併用した場合が最良の性能を示し、Nr3Dでは2つの損失関数の組み合わせよりも0.6%の向上を達成した。
• 複数の干渉オブジェクトが存在する複雑なケースにおいても、性能の向上が確認され、3Dオブジェクト検出の「Multiple」スプリットにおける性能向上から、ロバスト性の向上が裏付けられた。
• 定性的な結果から、ScanEnts3Dで訓練されたモデルは、有効なアンカー物体を明示的に参照することで、より判別力のあるキャプションを生成することが確認された。