[論文レビュー] Toward 3D Spatial Reasoning for Human-like Text-based Visual Question Answering

Hao Li, Jinfa Huang+4 more|arXiv (Cornell University)|Sep 21, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、深度に敏感な幾何的情報を統合することで空間的理解を向上させる、テキストベースの視覚的質疑応答（TextVQA）のための3次元空間的推論フレームワークDA-Netを提案する。オブジェクト-テキスト局在化のための関係予測モジュールと、OCRトークンの注目度を精緻化する深度に敏感なアテンションキャリブレーションモジュールを導入することで、TextVQAとST-VQAの両方で空間的推論の質問に対して、それぞれ5.7%および12.1%の向上を達成し、最先端性能を実現した。

ABSTRACT

Text-based Visual Question Answering~(TextVQA) aims to produce correct answers for given questions about the images with multiple scene texts. In most cases, the texts naturally attach to the surface of the objects. Therefore, spatial reasoning between texts and objects is crucial in TextVQA. However, existing approaches are constrained within 2D spatial information learned from the input images and rely on transformer-based architectures to reason implicitly during the fusion process. Under this setting, these 2D spatial reasoning approaches cannot distinguish the fine-grain spatial relations between visual objects and scene texts on the same image plane, thereby impairing the interpretability and performance of TextVQA models. In this paper, we introduce 3D geometric information into a human-like spatial reasoning process to capture the contextual knowledge of key objects step-by-step. %we formulate a human-like spatial reasoning process by introducing 3D geometric information for capturing key objects' contextual knowledge. To enhance the model's understanding of 3D spatial relationships, Specifically, (i)~we propose a relation prediction module for accurately locating the region of interest of critical objects; (ii)~we design a depth-aware attention calibration module for calibrating the OCR tokens' attention according to critical objects. Extensive experiments show that our method achieves state-of-the-art performance on TextVQA and ST-VQA datasets. More encouragingly, our model surpasses others by clear margins of 5.7\% and 12.1\% on questions that involve spatial reasoning in TextVQA and ST-VQA valid split. Besides, we also verify the generalizability of our model on the text-based image captioning task.

研究の動機と目的

• 既存のTextVQAモデルがオブジェクトとシーンテキストの間の微細な2次元空間的関係を区別できないという限界に対処する。
• 3次元幾何的情報を推論プロセスに統合することで、空間的推論の解釈可能性と性能を向上させる。
• 視覚的エンティティとOCRトークンの間の深度に敏感な空間的関係をモデル化することで、人間のような空間的推論を実現する。
• 提案手法がTextVQAを越えてテキストベースの画像キャプションに一般化できることを示す。
• 2次元空間的推論における重複するバウンディングボックスに起因する誤った相関を、深度情報の活用によって克服する。

提案手法

• 深度に敏感な特徴を用いて、重要なオブジェクトとOCRトークンの間の微細な3次元空間的関係を予測する関係予測モジュールを提案する。
• キーオブジェクトの空間的近接性と深度に基づいて、OCRトークンの注目度スコアを再重み付けする深度に敏感なアテンションキャリブレーションモジュールを導入する。
• 事前学習済み深度推定モデルから得られる3次元幾何的情報を、トランスフォーマー基盤アーキテクチャのマルチモodal融合プロセスに統合する。
• まずキーオブジェクトを特定し、その後にそれらの3次元空間的文脈に基づいてOCR注目度を精緻化する段階的推論パイプラインを採用する。
• 絶対的な空間座標と深度値を活用して、マルチモーダル統合プロセス中の視覚的・言語的表現を豊かにする。
• 回答予測のための交差エントロピー損失と、空間的関係のグランドトゥルースを求めるための関係予測ヘッドを用いて、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 3次元幾何的情報を統合することで、2次元空間的特徴を超えてTextVQAにおける空間的推論の正確性が向上するか？
• RQ2 深度に敏感なアテンションキャリブレーションは、複雑なシーンにおける関連するOCRトークンに注目する能力をどのように向上させるか？
• RQ3 関係予測モジュールは、空間的に曖昧な状況における局在化と推論をどの程度改善するか？
• RQ4 提案された3次元空間的推論フレームワークは、テキストベースの画像キャプションのような他のビジョン・ランゲージタスクにも一般化可能か？
• RQ5 SOTAの2次元ベース手法と比較して、モデルは困難な空間的推論質問に対してどの程度の性能を示すか？

主な発見

• DA-NetはTextVQAデータセットで最先端性能を達成し、前回のSOTA手法を空間的推論サブセットで5.7%上回った。
• ST-VQAデータセットでは、空間的推論有効スプリットでベースライン比12.1%の絶対的向上を達成した。
• TextCapsテキストベースキャプションベンチマークでは、新しいSOTAのCIDEr-Dスコア96.80およびBLEU-4スコア24.35を達成した。
• アブレーションスタディの結果、関係予測モジュールと深度に敏感なアテンションキャリブレーションの両方が性能向上に顕著に寄与することが確認された。
• 可視化結果から、DA-Netは正しく空間的関係（例：'on'、'under'）を特定し、特に重複するオブジェクト-OCRシナリオにおいても誤った注目を避けていることが示された。
• OCR検出におけるノイズに対して頑健であり、多様な視覚的・言語的推論タスクへの一般化性能も優れていた。