[論文レビュー] Reasoning Visual Dialogs with Structural and Partial Observations

Zilong Zheng, Wenguan Wang+2 more|arXiv (Cornell University)|Apr 11, 2019

Multimodal Machine Learning Applications参考文献 69被引用数 26

ひとこと要約

本論文は、部分的に観測されたノードと未知の関係を持つマルコフ確率場として対話構造をモデル化することで、視覚的対話タスクにおいて隠れた対話構造と答えを同時に推論する微分可能グラフニューラルネットワーク（GNN）フレームワークを提案する。期待値最大化（EM）に類似したアルゴリズムを用い、エッジ重みとノード表現を繰り返し改善することで、VisDialおよびVisDial-Qデータセットで最先端の性能を達成し、対話エンティティ間の構造的依存関係を明示的に推論している。

ABSTRACT

We propose a novel model to address the task of Visual Dialog which exhibits complex dialog structures. To obtain a reasonable answer based on the current question and the dialog history, the underlying semantic dependencies between dialog entities are essential. In this paper, we explicitly formalize this task as inference in a graphical model with partially observed nodes and unknown graph structures (relations in dialog). The given dialog entities are viewed as the observed nodes. The answer to a given question is represented by a node with missing value. We first introduce an Expectation Maximization algorithm to infer both the underlying dialog structures and the missing node values (desired answers). Based on this, we proceed to propose a differentiable graph neural network (GNN) solution that approximates this process. Experiment results on the VisDial and VisDial-Q datasets show that our model outperforms comparative methods. It is also observed that our method can infer the underlying dialog structure for better dialog reasoning.

研究の動機と目的

• 対話エンティティ間の複雑な意味的依存関係をモデル化することで、視覚的対話における推論の課題に取り組む。
• 部分的に観測されたグラフィカルモデルにおいて、欠落している答えの値と未知の対話構造（エンティティ間の関係）を同時に推論する。
• 教師なし構造発見と推論を近似可能な微分可能でエンドツーエンドのフレームワークを構築する。
• ノード表現とエッジ重みを相互依存に基づいて繰り返し改善することで、推論性能を向上させる。
• 推論されたエッジ重みを通じて対話構造を明示的に学習・可視化することで、解釈可能性を提供する。

提案手法

• 対話は、ノードが対話エンティティ（例：画像キャプション、質問、答え）を表し、エッジが意味的依存関係を表すマルコフ確率場（MRF）としてモデル化される。
• 問題は、欠落しているノード値（例：答え）と未知のエッジ重み（関係）の同時推論として定式化され、観測されたノードを入力とし、答えを部分的に観測されたノードとして扱う。
• 期待値最大化（EM）に類似したアルゴリズムを提案：Eステップでは、現在のエッジ重みに基づいて欠落しているノード値を推定する。Mステップでは、現在のノード値に基づいてエッジ重みを更新する。
• EMプロセスを近似可能な微分可能なGNNを設計し、ノード間のメッセージパッシングによりバックプロパゲーションとエンドツーエンド学習を可能にする。
• ノード埋め込みは事前学習済み言語表現を用いて初期化され、反復的メッセージパッシング中にエッジ重みが動的に更新される。
• 3〜4ラウンドのメッセージパッシングを含む反復的推論が用いられ、反復回数の増加に伴い収束性と性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 構造ラベルなしの状態で、統一されたフレームワークが視覚的対話タスクにおいて対話構造と答えを同時に推論できるか？
• RQ2 固定または定数のエッジ重みと比較して、動的かつ学習可能なエッジ重みは対話依存関係のモデル化においてどのように優れているか？
• RQ3 一回のパスで処理する手法と比較して、反復的メッセージパッシングは答え予測性能をどの程度向上させるか？
• RQ4 人間の推論様式と整合する解釈可能な対話構造をモデルが発見できるか？
• RQ5 本手法は、次問予測を要するベンチマークを含め、さまざまな視覚的対話ベンチマークに一般化可能か？

主な発見

• 3回のEMイテレーションを含む完全なモデルは、VisDial v0.9で最高の性能を達成し、MRRが0.6285、R@1が48.95%、R@5が79.65%、R@10が88.36%、平均順位が4.57となった。
• EMイテレーションを含まないモデルは最も悪い性能を示し、ノードおよびエッジ表現の反復的改善の必要性を示した。
• 定数グラフバージョン（すべてのエッジ重みを1に設定）は非反復的モデルを上回ったが、完全なモデルに劣り、誤ったメッセージのフィルタリングに動的エッジ重みが不可欠であることを示した。
• 3イテレーションのモデルは、VisDial v0.9で性能と収束性のバランスが最良であり、2、4、その他の変種を上回った。
• VisDial-Qでは、完全なモデルがMRR 0.4126、R@1 27.15%、R@5 56.47%、R@10 71.97%、平均順位8.86を達成し、SF-QIHなどの先行手法を上回った。
• 診断実験により、動的エッジ重みを用いたメッセージパッシングが、関連する情報を選択的にノード間で伝達することで、推論性能を顕著に向上させることを確認した。