[論文レビュー] Language-Conditioned Graph Networks for Relational Reasoning

Ronghang Hu, Anna Rohrbach+2 more|arXiv (Cornell University)|May 10, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 28

ひとこと要約

本稿では、自然言語入力をもとにメッセージ伝達を条件づけることで、段階的に関係的文脈を統合する言語条件付きグラフネットワーク（LCGN）を提案する。言語的文脈に基づいてエッジの重みを動的に設定することにより、LCGNは文脈に適応したオブジェクト表現を生成し、視覚的質問応答（VQA）および指差し表現理解（REF）タスクにおける性能を顕著に向上させ、GQAおよびCLEVR-Ref+で最先端の結果を達成した。

ABSTRACT

Solving grounded language tasks often requires reasoning about relationships between objects in the context of a given task. For example, to answer the question "What color is the mug on the plate?" we must check the color of the specific mug that satisfies the "on" relationship with respect to the plate. Recent work has proposed various methods capable of complex relational reasoning. However, most of their power is in the inference structure, while the scene is represented with simple local appearance features. In this paper, we take an alternate approach and build contextualized representations for objects in a visual scene to support relational reasoning. We propose a general framework of Language-Conditioned Graph Networks (LCGN), where each node represents an object, and is described by a context-aware representation from related objects through iterative message passing conditioned on the textual input. E.g., conditioning on the "on" relationship to the plate, the object "mug" gathers messages from the object "plate" to update its representation to "mug on the plate", which can be easily consumed by a simple classifier for answer prediction. We experimentally show that our LCGN approach effectively supports relational reasoning and improves performance across several tasks and datasets. Our code is available at http://ronghanghu.com/lcgn.

研究の動機と目的

• 文脈的な言語理解タスクにおける局所的外観に基づく視覚的表現の限界を解消すること。
• 自然言語に指定された関係的依存関係を反映する動的で文脈に適応したオブジェクト表現を可能にすること。
• 関係的文脈をシーン表現に埋め込むことで、タスク固有の手作業で設計された推論モジュールへの依存を軽減すること。
• 汎用的でプラグイン互換性のあるフレームワークを通じて、VQAやREFのような複雑な関係的推論タスクの性能を向上させること。
• 文脈に適応した表現が、複雑な推論構造を備えたモデルに比べて優れた性能を示すかどうかを示すこと。

提案手法

• シーン内の各オブジェクトは、グラフのノードとして表現され、初期特徴は局所的な視覚的外観から得られる。
• 複数の反復においてメッセージ伝達が行われ、各ノードは隣接ノードからの情報を、入力言語に条件づけられたエッジ重みに基づいて集約する。
• エッジ重みは、関係のテキスト記述（例：'上に'、'左に'、'同じサイズ'など）に注目するゲート付きアテンションメカニズムで計算される。
• 文脈化されたノード表現は反復的に更新され、入力質問または指差し表現に関連する関係的文脈を統合する。
• 最終的な文脈に適応した表現は、回答予測や局所化のための単純なタスク固有の分類器（例：シングルホップアテンション）の入力として使用される。
• VQAでは交差エントロピー損失、REFではボクシングボックス回帰損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフネットワークにおける言語条件付きメッセージ伝達は、視覚的グラウンディングタスクにおける関係的推論を改善できるか？
• RQ2 メッセージ伝達を言語的文脈に条件づけることで、静的または外観のみの表現よりも性能が向上するか？
• RQ3 汎用的で文脈に適応したシーン表現は、VQAおよびREFにおける複雑なタスク固有の推論モジュールを置き換えられるか？
• RQ4 関係的複雑度が異なる多様なデータセットにおいて、モデルの性能はどのように変動するか？
• RQ5 固定または対称的なメッセージ伝達と比較して、動的で言語依存のエッジ重み付けが特徴の精錬をどの程度向上させるか？

主な発見

• LCGNは、視覚的質問応答タスクにおいてGQAデータセットで最先端の性能を達成し、従来の手法（例：Stack-NMN）を上回った。
• 指差し表現理解タスクのCLEVR-Ref+データセットにおいて、LCGNは新たな最先端の結果を達成し、複雑な空間的および関係的クエリへの強い一般化能力を示した。
• 複数の局所的視覚特徴タイプ（例：Faster R-CNN、ResNeXt）において性能が向上したため、文脈に適応した表現の堅牢性が示された。
• アブレーションスタディの結果、言語条件付きメッセージ伝達が不可欠であることが判明した。言語的条件づけを除去すると、性能が著しく低下した。
• メッセージ伝達経路の可視化により、モデルが意図したように意味的に関連する関係（例：'上に'、'同じサイズ'、'左に'）に沿って情報をルーティングしていることが確認された。
• 文脈に適応した表現上でシングルホップアテンションを用いることで、競争力のある結果が得られた。これは、豊富な関係的文脈が単純で効果的な推論を可能にしていることを示している。