[論文レビュー] Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues

Hung Lê, Nancy F. Chen+1 more|arXiv (Cornell University)|Mar 1, 2021

Multimodal Machine Learning Applications参考文献 62被引用数 6

ひとこと要約

本論文は、質問と回答の語彙的・文法的構成を用いて構築された意味グラフを介して、会話の各ターン間の長距離依存関係をモデル化する、動的推論経路を学習する新しいフレームワーク、会話文脈内における推論経路（PDC）を提案する。グラフベースの特徴伝搬を通じて動的推論経路を学習することで、過去のターンからの関連する視覚的情報を効果的に取得し、回答生成を向上させ、AVSD@DSTC7でオラクル経路と同等の性能を達成し、固定経路ベースラインを上回る。

ABSTRACT

Compared to traditional visual question answering, video-grounded dialogues require additional reasoning over dialogue context to answer questions in a multi-turn setting. Previous approaches to video-grounded dialogues mostly use dialogue context as a simple text input without modelling the inherent information flows at the turn level. In this paper, we propose a novel framework of Reasoning Paths in Dialogue Context (PDC). PDC model discovers information flows among dialogue turns through a semantic graph constructed based on lexical components in each question and answer. PDC model then learns to predict reasoning paths over this semantic graph. Our path prediction model predicts a path from the current turn through past dialogue turns that contain additional visual cues to answer the current question. Our reasoning model sequentially processes both visual and textual information through this reasoning path and the propagated features are used to generate the answer. Our experimental results demonstrate the effectiveness of our method and provide additional insights on how models use semantic dependencies in a dialogue context to retrieve visual cues.

研究の動機と目的

• 既存の動画に根ざした会話モデルが、会話ターン間の長距離依存関係を捉える能力に制限を受ける問題に対処すること。
• 語彙的および文法的構成をブリッジ要因として用いて、マルチターン会話における話法レベルの意味的構造をモデル化すること。
• 関連する過去のターンから現在のターンへとマルチモodal特徴を伝搬するための学習可能な推論経路メカニズムを開発すること。
• 動的に予測された推論経路に沿って視覚的および言語的特徴を統合することで、回答生成を向上させること。
• 学習された推論経路が、固定経路やランダム経路伝搬戦略を上回ることを実証すること。

提案手法

• 各会話ターンの質問と回答から構文的依存解析を用いて抽出されたサブノード（エンティティ、動作フレーズ）を用いて、ターンレベルの意味グラフを構築する。
• 語彙的オーバーラップまたは意味的類似度（事前学習済み単語埋め込みとコサイン類似度を用いて）を介して、ターン間のノードを接続し、グラフ内のエッジを形成する。
• 変換器デコーダーを訓練して、現在のターンから過去のターンへの推論経路を予測し、以前に生成されたインデックスに基づいて次のターンインデックスを回帰予測する。
• グラフ畳み込みネットワーク（GCN）を用いて、予測された推論経路に沿って視覚的および言語的特徴を伝搬させ、段階的にマルチモーダル情報を統合する。
• 最終的な伝搬特徴を変換器デコーダーと組み合わせて回答を生成し、経路予測と応答生成の両方を同時に最適化する。
• 経路生成にはビームサーチまたはグリーディデコードを用い、アブレーションスタディを通じて学習された経路と固定経路（例：直近nターン）およびオラクル経路を比較する。

実験結果

リサーチクエスチョン

• RQ1 長距離依存関係を捉えることで、学習された推論経路メカニズムが動画に根ざした会話における性能向上に寄与するか？
• RQ2 語彙的および文法的構成を用いた意味グラフ構築は、現在の質問応答に必要な関連する過去の会話ターンを特定するのにどの程度有効か？
• RQ3 動的経路学習は、直近nターンのみを用いる固定伝搬戦略を上回るか？
• RQ4 モデルが予測する推論経路は、最適な関連ターンの順序を知っているオラクル経路とどの程度性能が近いか？
• RQ5 ビームサーチとグリーディデコードといった異なる経路生成戦略は、最終的な応答品質および計算コストにどのように影響するか？

主な発見

• 学習された推論経路を用いたPDCモデルは、CIDErスコア1.195を達成し、オラクル経路と同等の性能を示し、ランダム経路や固定経路ベースライン（例：ランダム経路ではCIDEr 0.684）を著しく上回った。
• ビームサーチまたはグリーディ経路生成を用いたモデルは、ほぼ同一の性能（CIDEr：1.194～1.195）を達成しており、短い経路長のためグリーディデコードが経路生成に十分であることが示された。
• nが大きくても（例：直近10ターン）固定経路ベースラインを上回ったことから、学習された経路はヒューリスティックな時間的順序を上回って有効であることが示された。
• 定性的分析により、予測された推論経路が不要なターン（例：A例の8番目のターン）を正しくスキップし、意味的に関連する過去のターン（例：「the bag」や「the cushion」を含むターン）にのみ接続していることが確認された。
• パrameterを必要としないグラフ構築（コサイン類似度）と事前学習済み埋め込みの使用により、グラフ構造の追加学習なしに効果的な意味的リンクが可能となった。
• 経路生成と応答生成の共同学習により、分離学習よりも特徴伝搬が改善され、応答品質が向上した。