[論文レビュー] Generating Visual Spatial Description via Holistic 3D Scene Understanding

Yu Zhao, Fei Hao+5 more|arXiv (Cornell University)|May 19, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿は、包括的な3次元シーン理解を活用することで空間的推論を向上させる、視覚的空間記述（VSD）のための新規フレームワークを提案する。外部の3次元シーン特徴から、ターゲットオブジェクト中心の3次元空間的シーングラフ（Go3D-S²G）を構築し、シーン部分グラフ選択メカニズムを用いて空間的に多様な記述を生成する。特に、レイアウトが重複する、または不規則な姿勢のオブジェクトを含む複雑なケースにおいて、ベースラインを著しく上回る性能を発揮する。

ABSTRACT

Visual spatial description (VSD) aims to generate texts that describe the spatial relations of the given objects within images. Existing VSD work merely models the 2D geometrical vision features, thus inevitably falling prey to the problem of skewed spatial understanding of target objects. In this work, we investigate the incorporation of 3D scene features for VSD. With an external 3D scene extractor, we obtain the 3D objects and scene features for input images, based on which we construct a target object-centered 3D spatial scene graph (Go3D-S2G), such that we model the spatial semantics of target objects within the holistic 3D scenes. Besides, we propose a scene subgraph selecting mechanism, sampling topologically-diverse subgraphs from Go3D-S2G, where the diverse local structure features are navigated to yield spatially-diversified text generation. Experimental results on two VSD datasets demonstrate that our framework outperforms the baselines significantly, especially improving on the cases with complex visual spatial relations. Meanwhile, our method can produce more spatially-diversified generation. Code is available at https://github.com/zhaoyucs/VSD.

研究の動機と目的

• 2次元視覚特徴に依存する既存のVSD手法の限界、すなわち歪んだ空間的理解を是正すること。
• 単一のRGB画像から得られる包括的な3次元シーン特徴を統合することで、VSDにおける空間的意味的推論を向上させること。
• ターゲットオブジェクト周辺の多様な局所的シーン構造をモデル化することで、空間的に多様なテキスト生成を可能にすること。
• 外部3次元シーン抽出器の品質がVSD性能に与える影響、特にドメインシフト下での影響を調査すること。
• 3次元シーンモデリングが、隠蔽や視覚的錯覚などの複雑な空間的関係の処理にどのように寄与するかを検証すること。

提案手法

• 入力の単眼RGB画像から、市販の3次元シーン抽出器を用いて3次元オブジェクト、レイアウト、位置、サイズ、視覚的特徴を生成する。
• 3次元空間におけるオブジェクト間の空間的関係を符号化するため、ターゲットオブジェクト中心の3次元空間的シーングラフ（Go3D-S²G）を構築する。
• Go3D-S²Gの空間的意味的表現を学習するために、オブジェクト中心のグラフ畳み込みネットワーク（OcGCN）を適用する。
• Go3D-S²Gからトポロジカルに多様な部分グラフをサンプリングする、シーン部分グラフ選択（S³）メカニズムを設計する。
• 選択された部分グラフに基づいてプロンプトテキストを生成し、焦点を当てたオブジェクトとそのプロトタイプ方向を明確化する。
• プロンプト、画像、3次元シーン特徴を、ビジョン・ランゲージ事前学習モデル（VL-PTM）に統合し、エンドツーエンドのVSD生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 2次元視覚特徴を超えて、3次元シーン特徴を統合することで、視覚的空間記述における空間的推論が向上するか？
• RQ2 包括的な3次元シーン構造をモデル化することで、空間的に多様な記述の生成がどのように向上するか？
• RQ3 外部3次元シーン抽出器の品質とドメイン整合性がVSD性能に与える影響は何か？
• RQ4 提案されたS³メカニズムは、多様な局所的シーントポロジーを探索することで、空間的に多様な記述を効果的に生成できるか？
• RQ5 本フレームワークは、オブジェクトの重なりや不規則な姿勢といった複雑な空間的関係に対して、どのように性能を発揮するか？

主な発見

• 提案フレームワークは、2つのVSDデータセットにおいて、特にレイアウトが重複する、または不規則なオブジェクトの姿勢を含む複雑なケースで、既存のベースラインを著しく上回る性能を発揮した。
• VSD-v2データセットにおいても優れた性能を達成し、人間にとって自然で複雑な空間的記述において顕著な向上を示した。
• シーン部分グラフ選択（S³）メカニズムは、多様な局所的シーントポロジーを探索することで、空間的に多様なテキスト生成を成功裏に促進した。
• ドメインシフトに対しても頑健であることが示された：3次元抽出器の学習ドメイン（屋内）とは異なる屋外シーンでは性能が低下したが、依然としてベースラインを上回った。
• 外部3次元シーン抽出器の品質は、極めて重要な要因である。屋内（ドメイン内）の画像では性能が著しく向上し、より優れた3次元抽出器を用いれば大きな潜在的向上が見込まれる。
• アブレーションスタディにより、Go3D-S²Gの構築とS³メカニズムの両方が、モデルの性能向上に顕著に寄与していることが確認された。