[論文レビュー] Graph-Structured Referring Expression Reasoning in The Wild

Sibei Yang, Guanbin Li+1 more|arXiv (Cornell University)|Apr 19, 2020

Multimodal Machine Learning Applications参考文献 28被引用数 7

ひとこと要約

本論文は、参照表現の句構造に従ってニューラルモジュールをガイドするシーングラフガイドドモジュラーネットワーク（SGMN）を提案する。この手法は視覚的・言語的グラフ上で構造的推論を実行し、ベンチマークデータセットで最先端の性能を達成した。また、意味的に豊かでバランスの取れた表現と、グラフアテンション機構を用いた解釈可能な推論トレースを備えた大規模な現実世界データセット「Ref-Reasoning」を導入した。

ABSTRACT

Grounding referring expressions aims to locate in an image an object referred to by a natural language expression. The linguistic structure of a referring expression provides a layout of reasoning over the visual contents, and it is often crucial to align and jointly understand the image and the referring expression. In this paper, we propose a scene graph guided modular network (SGMN), which performs reasoning over a semantic graph and a scene graph with neural modules under the guidance of the linguistic structure of the expression. In particular, we model the image as a structured semantic graph, and parse the expression into a language scene graph. The language scene graph not only decodes the linguistic structure of the expression, but also has a consistent representation with the image semantic graph. In addition to exploring structured solutions to grounding referring expressions, we also propose Ref-Reasoning, a large-scale real-world dataset for structured referring expression reasoning. We automatically generate referring expressions over the scene graphs of images using diverse expression templates and functional programs. This dataset is equipped with real-world visual contents as well as semantically rich expressions with different reasoning layouts. Experimental results show that our SGMN not only significantly outperforms existing state-of-the-art algorithms on the new Ref-Reasoning dataset, but also surpasses state-of-the-art structured methods on commonly used benchmark datasets. It can also provide interpretable visual evidences of reasoning. Data and code are available at https://github.com/sibeiyang/sgmn

研究の動機と目的

• 既存手法が言語構造を無視するか、構文をモデル化するために自己アテンションのみを用いるという限界を克服し、参照表現の文法的構造を明示的に活用して構造的推論を実現すること。
• 既存ベンチマークに見られるデータセットバイアスを是正するため、バランスの取れた意味的に豊かな表現と、真の値の間接的推論ステップを備えた大規模な現実世界データセットを構築すること。
• 各言語シーングラフのステップでオブジェクトに対するアテンションマップを生成することで、視覚的推論を解釈可能にする。これにより、推論プロセスの根拠となるトレーサブルな証拠を提供する。
• 複雑で長い参照表現のグランドイング性能を向上させるために、言語構造に従ってガイドされるモジュラーニューラルネットワークを用いて関係性と属性をモデル化すること。

提案手法

• 入力画像を、オブジェクトをノード、関係性をエッジとする意味的グラフとしてモデル化し、オブジェクト検出器と関係性分類器を用いる。
• 外部パーサーを用いて参照表現を言語シーングラフに解析し、名詞句をノード、前置詞句・動詞句をエッジとする。画像グラフと整合性を保つように設計する。
• モジュラーニューラルネットワークが、AttendNode、AttendRelation、Transfer、Merge、Normなどの操作を段階的に適用することで、言語シーングラフに沿った推論を実行する。
• グラフアテンション機構が、言語シーングラフの各ノードで関連する画像オブジェクトを強調することで、推論プロセスを解釈可能にする。
• Ref-Reasoningデータセットは、テンプレートと機能的プログラムを用いて画像シーングラフから多様な表現を自動生成し、すべての推論ステップに真の値のアノテーションを付与することで構築された。
• 均一なサンプリングと分布制御を用いて、推論ステップごとの表現の難易度をバランスさせ、データセットバイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 言語構造に従ってガイドされるモジュラーニューラルネットワークは、統合的マッチング手法に比べて、参照表現グランドイングにおいて優れた性能を示せるか？
• RQ2 バランスの取れた意味的に豊かな表現と中間アノテーションを備えた大規模な現実世界データセットは、モデルの汎化性能を向上させ、データセットバイアスを低減できるか？
• RQ3 アテンションマップを用いたグラフ構造の推論は、参照表現グランドイングにおける中間推論ステップの解釈可能な視覚的証拠を提供できるか？
• RQ4 ニューラルモジュールの設計（例：Transfer、Norm、Merge）は、複雑な表現の推論性能にどのように影響するか？

主な発見

• SGMNはRefCOCOで86.67%、RefCOCO+で85.36%、RefCOCOgで78.66%の平均精度を達成し、既存の構造的手法よりそれぞれ0.92%、2.54%、2.96%高い性能を示した。
• 平均長8.43のより長い、より複雑な表現を含むRefCOCOgデータセットにおいても、SGMNは最良の統合的手法と同等の性能を達成し、強力な推論能力を示した。
• アブレーションスタディの結果、Transferモジュールを削除すると性能が著しく低下（検証スプリットで40.66%）し、ノード間の関係的推論においてその重要性が確認された。
• Sum-mergeを用いたSGMNが最も優れた性能（検証スプリットで51.04%）を示し、Max-merge（44.50%）やMin-merge（45.25%）を上回った。これは、Sum-mergeが複数の関係情報をより効果的に扱えることを示している。
• 定性的な結果から、SGMNは言語シーングラフに沿って推論ステップをトレースできる解釈可能なアテンションマップを生成しており、例えば「ピンクとブラックの髪をした女性が犬を散歩させている」ような状況を的確に特定している。
• 実世界のシーンに対しても汎化性能が高く、多様で現実世界の視覚的・言語的コンテンツを備えた大規模データセットRef-Reasoningでも優れた性能を示している。