[論文レビュー] Comprehensive Visual Question Answering on Point Clouds through Compositional Scene Manipulation

Yan Xu, Zhihao Yuan+5 more|arXiv (Cornell University)|Dec 22, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、3次元シーングラフに基づく質問エンジンと構成的シーン操作を用いて、共感覚に依存しない推論を可能にする、171,000件の質問を含む大規模なVQA-3DデータセットであるCLEVR3Dを紹介する。提案されたTransVQA3Dフレームワークは、視覚的・言語的モダリティ間のクロスモーダルアテンションとシーングラフに依存する監督信号を活用し、VQA-3Dとシーングラフ生成を同時に学習することで、最先端の性能を達成する。

ABSTRACT

Visual Question Answering on 3D Point Cloud (VQA-3D) is an emerging yet challenging field that aims at answering various types of textual questions given an entire point cloud scene. To tackle this problem, we propose the CLEVR3D, a large-scale VQA-3D dataset consisting of 171K questions from 8,771 3D scenes. Specifically, we develop a question engine leveraging 3D scene graph structures to generate diverse reasoning questions, covering the questions of objects' attributes (i.e., size, color, and material) and their spatial relationships. Through such a manner, we initially generated 44K questions from 1,333 real-world scenes. Moreover, a more challenging setup is proposed to remove the confounding bias and adjust the context from a common-sense layout. Such a setup requires the network to achieve comprehensive visual understanding when the 3D scene is different from the general co-occurrence context (e.g., chairs always exist with tables). To this end, we further introduce the compositional scene manipulation strategy and generate 127K questions from 7,438 augmented 3D scenes, which can improve VQA-3D models for real-world comprehension. Built upon the proposed dataset, we baseline several VQA-3D models, where experimental results verify that the CLEVR3D can significantly boost other 3D scene understanding tasks. Our code and dataset will be made publicly available at https://github.com/yanx27/CLEVR3D.

研究の動機と目的

• 物体認識を超える複雑な推論を支援する、大規模で多様性に富み、バイアスのない3次元VQAデータセットの不足を解消すること。
• 構成的シーン操作による共感覚に依存しない設定を導入することで、VQA-3Dモデルの誤った相関関係（スパイルスな相関）を軽減すること。
• 物体の属性、空間的関係、および数え上げや比較といった推論タイプに関する質問を生成することで、包括的な視覚的理解を可能にすること。
• VQA-3Dと3次元シーングラフ生成を同時に最適化する統合フレームワークの開発により、推論性能と頑健性を向上させること。
• 複数の下流タスクにおける3次元シーン理解を向上させるベンチマークの提供

提案手法

• 3次元セマンティックシーングラフに基づく質問エンジンを設計し、1,333の実世界の3次元シーンから、属性（色、サイズ、素材）および空間的関係をカバーする44,000件の多様な推論質問を生成。
• 構成的シーン操作（CSM）を導入し、オブジェクトの関係性や属性を再割り当てすることで、シーングラフを変更。7,438の拡張されたシーンから127,000件の質問を生成し、共感覚的バイアスを排除。
• TransVQA3Dフレームワークは、ポイントクラウド特徴量とテキスト質問をアライメントするためのクロスモーダルトランスフォーマー（CMT）を採用。シーングラフアテンションアダプタ（SGAA）を用いて明示的な関係性の監視信号を統合。
• モデルはVQA-3Dと3次元シーングラフ生成を同時に最適化し、オブジェクト分類と述語予測のための別々のヘッドブランチを備える。トップ-k再現率と正答率を指標に評価。
• SGAAモジュールは、ノードレベルのアテンションとクロスモーダルアテンション（CMA）を組み合わせたツインアテンション（TA）を内蔵し、視覚的・言語的モダリティ間の特徴相互作用を強化。
• CMTでは位置エンコーディングを適用し、空間的および順序的構造を保持。アブレーションスタディにより、性能向上が顕著に示された。

実験結果

リサーチクエスチョン

• RQ1 3次元シーングラフに基づく質問エンジンは、実世界の3次元シーンにおける属性と空間的関係をカバーする多様で推論を要する質問を生成できるか？
• RQ2 構成的シーン操作は、VQA-3Dモデルにおける誤った共感覚的バイアスへの依存度をどの程度低減できるか？
• RQ3 VQA-3Dと3次元シーングラフ生成の共同学習は、推論性能と頑健性をどの程度向上させるか？
• RQ4 SGAAモジュールによる明示的な関係性の監視信号は、VQA-3Dおよびシーングラフ予測の正確性にどの程度寄与するか？
• RQ5 位置エンコーディングやクロスモーダルアテンションといったアーキテクチャ的要素は、CMTにおける3次元VQA性能にどのように影響を与えるか？

主な発見

• CLEVR3Dデータセットには、8,771のシーンから171,000件の質問が含まれており、うち44,000件は実世界のシーンから、127,000件は構成的変更による共感覚に依存しない拡張シーンから生成された。
• TransVQA3Dは、VQAタスクのみで学習した場合に39.7%の全体正答率を達成し、オブジェクト分類の監視信号を追加すると42.7%に向上。SGAAモジュールによる完全なシーングラフ監視を適用すると44.7%に上昇。
• アブレーションスタディの結果、言語ブランチを削除するとシーングラフ予測性能が約5%低下し、VQA-3Dとシーングラフ推論の相互強化が示された。
• CMTにおける位置エンコーディングの有無を比較した結果、位置エンコーディングなしのモデルに比べ、全体正答率の低下が3%、ClassAvgの低下が6%減少。これにより、クロスモーダル相互作用のモデリングにおいて位置エンコーディングの重要性が裏付けられた。
• SGAAモジュールのツインアテンション（TA）は、VQA-3Dおよびシーングラフ予測の両方の性能を顕著に向上。一方、クロスモーダルアテンション（CMA）は主にVQA-3Dの性能向上に寄与し、2%の向上を示した。
• シーングラフ解析において、特に述語（関係性）予測の分野で最先端の性能を達成。トップ-k再現率指標において顕著な改善が見られた。