[論文レビュー] GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Jul 31, 2019

Topic Modeling参考文献 33被引用数 23

ひとこと要約

GraphFlowは、質問と会話履歴に依存する文脈グラフを各ターンで動的に構築するGNNベースのモデルを提案する。時間的依存関係をモデル化するために、フロー機構を備えた新規な再帰的GNNを用いる。CoQA、QuAC、DoQAベンチマークで最先端の性能を達成するとともに、注目度可視化による解釈可能性の向上を実現した。

ABSTRACT

Conversational machine comprehension (MC) has proven significantly more challenging compared to traditional MC since it requires better utilization of conversation history. However, most existing approaches do not effectively capture conversation history and thus have trouble handling questions involving coreference or ellipsis. Moreover, when reasoning over passage text, most of them simply treat it as a word sequence without exploring rich semantic relationships among words. In this paper, we first propose a simple yet effective graph structure learning technique to dynamically construct a question and conversation history aware context graph at each conversation turn. Then we propose a novel Recurrent Graph Neural Network, and based on that, we introduce a flow mechanism to model the temporal dependencies in a sequence of context graphs. The proposed GraphFlow model can effectively capture conversational flow in a dialog, and shows competitive performance compared to existing state-of-the-art methods on CoQA, QuAC and DoQA benchmarks. In addition, visualization experiments show that our proposed model can offer good interpretability for the reasoning process.

研究の動機と目的

• 会話履歴を効果的かつ効果的にモデル化する課題、特に共参照および省略の処理に取り組む。
• 単なる単語の系列として扱う代わりに、語の間の豊かな意味的関係を捉えることで、本文テキスト上の推論を向上させる。
• 文脈を進化するグラフとして表現し、再帰的GNNにフロー機構を適用することで、会話ターン間の時間的依存関係をモデル化する。
• 隠れ表現の変化を可視化することで、会話ターン間での注目度のシフトを示すことで、モデルの解釈可能性を向上させる。
• モジュラーかつ説明可能なアーキテクチャを維持しつつ、複数の会話型MCベンチマークで競争力のある性能を達成する。

提案手法

• 各会話ターンで、各単語をノードとし、質問と会話履歴に基づいて学習されたエッジを持つ文脈グラフを動的に構築する。
• 各文脈グラフを処理し、ターン間で隠れ状態を維持することで時間的流れをモデル化する再帰的GNN（RGNN）を採用する。
• 前回のターンからの推論出力を、現在のターンのグラフアテンションとメッセージパッシングに伝搬するフロー機構を導入する。
• 計算コストを削減しながらも、文脈グラフ内の重要な意味的関係を保持するため、k-NNに基づくグラフスパarsificationを用いる。
• 語表現を豊かにするために、事前学習済みBERT埋め込みを入力特徴として活用する。
• 質問埋め込みと文脈グラフ埋め込みのマッチングスコアを用いて、答えのスパンを予測する。

実験結果

リサーチクエスチョン

• RQ1 グラフ表現を用いた機械理解において、会話の流れを効果的にモデル化する方法は何か？
• RQ2 履歴に依存する文脈グラフを動的に構築することで、会話型MCタスクの性能はどの程度向上するか？
• RQ3 時間的接続を持つ再帰的GNNは、Integration-Flowのような既存の逐次的推論メカニズムを上回る性能を発揮できるか？
• RQ4 特に前回の回答を含めた会話履歴の有無が、モデルの性能と注目度のシフトに与える影響は何か？
• RQ5 モデルの推論プロセスを意味的に可視化することで、解釈可能性と注目度のシフトを示すことは可能か？

主な発見

• GraphFlowはCoQA開発セットでF1スコア78.3を達成し、ベースラインモデルやアブレーションバージョンを上回った。
• RGNNモジュールは性能に顕著な寄与を示し、それなしのモデルと比較してF1スコアが7.2%向上した。
• RGNN内の時間的接続コンponentsはF1スコアに6.1%の寄与を示し、ターン間の流れをモデル化することが重要であることを裏付けた。
• 文脈に前回の回答の場所を前付けることで、前回の質問を含めるよりも性能が向上し、それらを含めない場合と比較してF1スコアが1.6%向上した。
• k-NNによるグラフスパース化は、密なグラフと比較してF1スコアを0.9%向上させ、ノイズ低減の有効性を示した。
• CoQAにおける人間の性能はF1スコア80.8であり、GraphFlowは78.3を達成した。これは人間水準の理解に非常に近い強力な競争性能を示している。