[論文レビュー] Structured Multimodal Attentions for TextVQA

Chenyu Gao, Qi Zhu+5 more|arXiv (Cornell University)|Jun 1, 2020

Multimodal Machine Learning Applications参考文献 67被引用数 16

ひとこと要約

本稿では、視覚的オブジェクト、OCRトークン、およびそれらの相互関係を、異種グラフ注意ネットワークを介して共同で推論することで、テキストベースの視覚的質問応答を向上させるエンドツーエンドモデルである構造的マルチモodalアテンション（SMA）を提案する。SMAは、質問に依存するグラフ注意と反復的答え生成を統合することで、TextVQAおよびST-VQAで最先端の性能を達成し、先行手法を上回り、TextVQAチャレンジ2020で1位を獲得した。

ABSTRACT

In this paper, we propose an end-to-end structured multimodal attention (SMA) neural network to mainly solve the first two issues above. SMA first uses a structural graph representation to encode the object-object, object-text and text-text relationships appearing in the image, and then designs a multimodal graph attention network to reason over it. Finally, the outputs from the above modules are processed by a global-local attentional answering module to produce an answer splicing together tokens from both OCR and general vocabulary iteratively by following M4C. Our proposed model outperforms the SoTA models on TextVQA dataset and two tasks of ST-VQA dataset among all models except pre-training based TAP. Demonstrating strong reasoning ability, it also won first place in TextVQA Challenge 2020. We extensively test different OCR methods on several reasoning models and investigate the impact of gradually increased OCR performance on TextVQA benchmark. With better OCR results, different models share dramatic improvement over the VQA accuracy, but our model benefits most blessed by strong textual-visual reasoning ability. To grant our method an upper bound and make a fair testing base available for further works, we also provide human-annotated ground-truth OCR annotations for the TextVQA dataset, which were not given in the original release. The code and ground-truth OCR annotations for the TextVQA dataset are available at https://github.com/ChenyuGAO-CS/SMA

研究の動機と目的

• テキストを含む画像における読み取りと推論に劣っている最先端のVQAモデルの限界を解消すること。特にOCRベースの推論に焦点を当てる。
• 構造的グラフを用いて、オブジェクト、テキスト、およびそれらの相互作用の複雑な関係をモデル化することで、マルチモーダル推論を向上させること。
• 分類的答えヘッドの制約を克服するため、M4Cにインspiredされた反復的で生成的な答え生成メカニズムを採用すること。
• OCR誤りによる性能低下を分離するため、人間がアノテートしたOCRアノテーションを提供することで、TextVQAの公平なベンチマークを確立すること。
• OCR品質が全体のVQA精度に与える影響を調査し、より良い推論モデルが、改善されたOCRからより大きな利益を得ることを示すこと。

提案手法

• 質問を6つの要素に分解する質問自己アテンションモジュールを提案：オブジェクト、オブジェクト-オブジェクト、オブジェクト-テキスト、テキスト、テキスト-テキスト、およびテキスト-オブジェクト関係。
• 相対的な距離と質問のコンponentsに基づいて、オブジェクトとOCRトークンをノードとし、空間的・意味的関係などの関係をエッジとする異種グラフを構築する。
• 質問から得られる特徴を用いて、特定のノード型およびエッジ型のアテンション更新をガイドする質問に依存するグラフ注意ネットワーク（GCN）を採用する。
• グローバルな文脈（質問、オブジェクト、テキスト）とローカルなOCR埋め込みを組み合わせることで、反復的に答えを生成するグローバル-ローカルなアテンショナル答えモジュールを導入し、<begin>トークンを要約された特徴に置き換えることで性能を向上させる。
• OCRトークンと一般語彙に対するアテンションを用いた反復的デコードを採用することで、柔軟で複数トークンの答え生成を可能にする。
• 人間がアノテートした正例OCRを用いた新しい上限評価を活用し、推論性能とOCR品質を分離する。

実験結果

リサーチクエスチョン

• RQ1 視覚的オブジェクト、OCRトークン、およびそれらの相互作用の関係を明示的にモデル化することで、TextVQAにおけるマルチモーダル推論をどのように向上させられるか？
• RQ2 標準的なアテンションメカニズムと比較して、質問に適合したグラフアテンションを統合することで、マルチモーダルVQAにおける答え生成にどの程度向上が見られるか？
• RQ3 OCR精度が向上するにつれて、推論モデルの性能はどの程度向上するか？また、提案されたモデルは、より良いOCRから特に大きな利益を得るか？
• RQ4 OCR誤りが排除された場合、TextVQAにおける推論性能の真の上限は何か？また、人間の性能と比べてどうか？
• RQ5 開閉語彙で複数トークンの答えを生成するTextVQAのような設定において、生成的で反復的な答え生成メカニズムは、分類的ベースラインを上回ることができるか？

主な発見

• SMAは、TextVQAのバリデーションセットで50.8%のANLSスコアを達成し、事前学習を行わないすべてのモデルを上回り、TextVQAチャレンジ2020で1位を獲得した。
• ST-VQAデータセットでは、最初の2つのタスク（強く文脈化された、弱く文脈化された）でSOTAを更新し、それぞれ0.483および0.486のANLSスコアを達成し、オープン語彙タスクでも競争力がある。
• 正例OCRを用いることで、SMAはTextVQAで68.81%の上限精度を達成した。これは、モデルの推論能力が依然として人間水準に遠く及ばないことを示している。
• 正例OCRを用いることで、9.68%の精度向上が見られ、これはLoRRA（5.72%）やM4C（8.51%）よりも顕著に高い。これは、優れた推論および答え生成能力を示している。
• 提案されたグローバル-ローカルアテンションモジュールは、一般の<begin>トークンの代わりに要約されたグローバル特徴を組み込むことで、元のM4Cベースラインに比べて約0.5%の性能向上を達成した。
• SBD-Trans OCRはRosetta-mlおよびRosetta-enを上回り、Hmeanが0.5244を記録した。また、それらのOCRを用いたモデルでは、特にSMAが改善されたOCR品質から最大の利益を得ており、その恩恵が顕著に見られた。