[論文レビュー] Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text

Difei Gao, Ke Li+3 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 14

ひとこと要約

本稿では、視覚的、意味的、数値的モダリティをグラフベースのアーキテクチャとクロスモダリティ間メッセージスティングを用いて、画像内のシーンテキストの視覚的、意味的、数値的側面をモデル化する新しいフレームワーク、Multi-Modal Graph Neural Network (MM-GNN) を提案する。視覚的文脈、意味的文脈、数値的関係を注意に基づく集約器を用いて活用することで、MM-GNN はシーンテキスト理解におけるVQA性能を著しく向上させ、TextVQA および VizWiz-TextVQA ベンチマークで最先端の結果を達成するとともに、解釈可能性が向上した。

ABSTRACT

Answering questions that require reading texts in an image is challenging for current models. One key difficulty of this task is that rare, polysemous, and ambiguous words frequently appear in images, e.g., names of places, products, and sports teams. To overcome this difficulty, only resorting to pre-trained word embedding models is far from enough. A desired model should utilize the rich information in multiple modalities of the image to help understand the meaning of scene texts, e.g., the prominent text on a bottle is most likely to be the brand. Following this idea, we propose a novel VQA approach, Multi-Modal Graph Neural Network (MM-GNN). It first represents an image as a graph consisting of three sub-graphs, depicting visual, semantic, and numeric modalities respectively. Then, we introduce three aggregators which guide the message passing from one graph to another to utilize the contexts in various modalities, so as to refine the features of nodes. The updated nodes have better features for the downstream question answering module. Experimental evaluations show that our MM-GNN represents the scene texts better and obviously facilitates the performances on two VQA tasks that require reading scene texts.

研究の動機と目的

• 単語埋め込みのみでは信頼性が保証されない稀な、多義的または曖昧なシーンテキストを視覚的質問応答（VQA）で理解するという課題に対処すること。
• 画像内のシーンテキストに存在する視覚的、意味的、数値的複数モダリティを統合的にモデル化することで、VQA性能を向上させること。
• 視覚的顕著性、周辺テキスト、数値的関係といった文脈的手がかりを用いて、未知または曖昧な語の意味を推論できるようにすること。
• レイアウトおよび質問文脈に基づく注意を用いて、モダリティ間を動的にノード表現を精錬するメッセージスティング機構を開発すること。

提案手法

• MM-GNN は、視覚的エンティティ（オブジェクトおよびテキスト）、シーンテキストの意味的意味、数値的値および関係性の3つのサブグラフを持つマルチモーダルグラフを構築する。
• ノードの初期表現は、事前学習済み特徴を用いて初期化される：視覚的特徴には Faster R-CNN、テキストには事前学習済み単語埋め込みが使用される。
• 3つの注意に基づく集約器がクロスモダリティ間メッセージスティングを実行する：視覚的-意味的、意味的-意味的、意味的-数値的。各集約器は関連する文脈的情報を用いてノード特徴を精錬する。
• 集約器は、視覚的外観、空間的レイアウト、質問文脈に基づいてノード間の関連性スコアを計算し、物理的および意味的に関連するオブジェクトやテキストに注目できるようにする。
• 特徴の組み合わせ時により豊かな情報を保持するため、平均化による損失を避けるために、連結ベースの統合方式を採用する。
• 精錬されたノード特徴は、下流のVQAモジュールに供給され、注目可視化により段階的かつ解釈可能な推論が示される。

Figure 1: An image could contain information in multiple modalities, thus it looks different to models with different abilities. For example, the image in the eye of a human (top left) combines multi-modal contents. The visual modality contains the visual appearances of objects and texts. The semant

実験結果

リサーチクエスチョン

• RQ1 シーンテキストにおける視覚的、意味的、数値的モダリティの統合的モデリングが、曖昧または希少な語のVQA性能を向上させることができるか？
• RQ2 注意機構を用いたクロスモダリティ間メッセージスティングが、未知または多義的なシーンテキストトークンの意味を効果的に推論できるか？
• RQ3 視覚的顕著性、周辺テキスト、数値的関係が、VQAタスクにおける正確な推論にどの程度寄与するか？
• RQ4 注目可視化により、モデルの推論プロセスを解釈可能にできるか、そしてこれらの注目が人間の推論に類似しているか？

主な発見

• MM-GNN は、連結ベースの組み合わせ方式を用いることで、TextVQA 検証セットで最先端の性能を達成し、VQA 正答率は 27.85% を記録した。
• アブレーションスタディの結果、すべての組み合わせ方式（和、平均、連結）が、提案された連結法に比べて性能が低下しており、連結法がより多くの情報を保持していることが示された。
• 可視化により、MM-GNN の注目機構が明確で解釈可能であることが確認され、質問文脈に応じて関連する視覚的オブジェクト、周辺テキスト、数値トークンに注目していることがわかった。
• モデルは、視覚的顕著性と意味的文脈を活用することで、'STP' や 'transilvania' のような希少または未知の語の意味を効果的に推論した。
• 複数ステップの推論タスク（例：最大の数値を特定する、テキストをその物理的媒体に関連付ける）において、MM-GNN はマルチモーダルな手がかりを効果的に統合することで、ベースラインモデルを上回った。
• 図 5 の注目可視化は、モデルが段階的推論を実行しており、各質問に対して関連する画像領域およびテキストトークンに明確に注目していることを示している。

Figure 2: Three example questions requiring leveraging different types of multi-modal contexts to answer the questions. Q1: the model should use visual context (the “EPIC” is a prominent word on the bottle) to infer the semantics of the word “EPIC”. Q2: the model should infer that “Ged” indicates th