[論文レビュー] Situation Recognition with Graph Neural Networks

Ruiyu Li, Makarand Tapaswi+4 more|arXiv (Cornell University)|Aug 14, 2017

Multimodal Machine Learning Applications参考文献 40被引用数 23

ひとこと要約

この論文は、役割間の依存関係をモデル化することで、画像内の動詞とその意味的役割-名詞ペアを同時に予測するGNNベースのモデルを提案する。役割のグラフ構造を介して情報伝達を行うことで、imSituデータセット上で先行研究より4.5%のフレーム単位の正確性向上を達成し、明示的な役割間相互作用の有効性を示している。

ABSTRACT

We address the problem of recognizing situations in images. Given an image, the task is to predict the most salient verb (action), and fill its semantic roles such as who is performing the action, what is the source and target of the action, etc. Different verbs have different roles (e.g. attacking has weapon), and each role can take on many possible values (nouns). We propose a model based on Graph Neural Networks that allows us to efficiently capture joint dependencies between roles using neural networks defined on a graph. Experiments with different graph connectivities show that our approach that propagates information between roles significantly outperforms existing work, as well as multiple baselines. We obtain roughly 3-5% improvement over previous work in predicting the full situation. We also provide a thorough qualitative analysis of our model and influence of different roles in the verbs.

研究の動機と目的

• 画像内の状況認識を向上させることを目的とし、動詞とその意味的役割-名詞ペアを同時に予測すること。
• ニューラルグラフ構造を用いて意味的役割（例：主体、道具、対象）間の依存関係をモデル化すること。
• 視覚的状況の構造予測におけるスパarsityと大きな出力空間の課題に対処すること。
• CRF や RNN と比較して、役割間の相互作用を明示的に捉えることで、既存手法を上回ること。
• メッセージ伝達の可視化を通じて、役割間の影響を解釈可能にする。

提案手法

• モデルは、動詞とその役割をノードとして持つグラフ構造を用い、エッジが潜在的な依存関係を符号化する。
• 式 (3) で定義される再帰的メッセージ伝達メカニズムによりノード間でメッセージを伝達し、各役割が隣接ノードの情報をもとに自身の表現を更新する。
• 完全結合型やスパース型など、異なるグラフ接続構造を検討し、最適な役割相互作用パターンを特定する。
• CNNバックボーンからの特徴量を用い、動詞および役割-名詞ペアの予測に対して交差エントロピー損失を用いてエンドツーエンドで訓練する。
• 学習された伝達行列により、ある役割からのメッセージの重要性を捉え、役割の影響力分析のための可視化を実施する。
• パラメータ共有を実現するテンソル構成関数を用いることで、データスパarsity下でも一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 意味的役割間の明示的依存関係をモデル化することで、状況認識の性能向上が達成できるか？
• RQ2 異なるグラフ接続パターンがGNNベースの状況認識性能に与える影響は何か？
• RQ3 独立予測やCRFベースのモデルと比較して、役割間相互作用が予測の一貫性にどの程度寄与するか？
• RQ4 学習されたメッセージ伝達パターンは、異なる動詞に対して役割の意味的重要性をどのように反映しているか？
• RQ5 データスパarsityにもかかわらず、未学習の動詞-役割コンビナージョンに一般化できるか？

主な発見

• 提案されたGNNベースのモデルは、imSituベンチマークにおいて、先行の最良手法より4.5%の絶対的フレーム単位正確性向上（value-all）を達成した。
• 完全結合型（FC）グラフ構造が他の接続パターンを上回り、すべての役割が相互に情報交換を受けることで恩恵を受けることが示された。
• メッセージ伝達の可視化から、'fastening'に対しては'tool'が、'jumping'に対しては'obstacle'が特に影響力の高い役割であることが明らかになった。
• 誤った動詞を予測しても、しばしば正しい役割-名詞ペアを予測するため、役割推論の耐障害性が示された。
• 失敗事例の多くは、クラス不均衡（例：'place'に対して'outdoor'が優勢）や曖昧な正解アノテーションに起因しており、データおよびアノテーション品質が主な要因であると示唆された。
• 訓練アノテーションにないが妥当な状況（例：'sitting'の代わりに'camping'）を効果的に推論でき、学習アノテーションを超えた一般化能力を示した。