[論文レビュー] Interconnected Question Generation with Coreference Alignment and Conversation Flow Modeling

Yifan Gao, Piji Li+2 more|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 27被引用数 10

ひとこと要約

本稿では、共参照整合性と会話フローのモデリングを統合することで、相互に接続された文脈的に整合性のある質問を生成するエンドツーエンドのニューラルモデルであるCQG（会話的質問生成）を提案する。このモデルは自動評価および人的評価の両方でベースラインを上回り、明示的な共参照追跡と段階的で動的な焦点シフトにより、質問の相互接続性が顕著に向上する。

ABSTRACT

We study the problem of generating interconnected questions in question-answering style conversations. Compared with previous works which generate questions based on a single sentence (or paragraph), this setting is different in two major aspects: (1) Questions are highly conversational. Almost half of them refer back to conversation history using coreferences. (2) In a coherent conversation, questions have smooth transitions between turns. We propose an end-to-end neural model with coreference alignment and conversation flow modeling. The coreference alignment modeling explicitly aligns coreferent mentions in conversation history with corresponding pronominal references in generated questions, which makes generated questions interconnected to conversation history. The conversation flow modeling builds a coherent conversation by starting questioning on the first few sentences in a text passage and smoothly shifting the focus to later parts. Extensive experiments show that our system outperforms several baselines and can generate highly conversational questions. The code implementation is released at https://github.com/Evan-Gao/conversational-QG.

研究の動機と目的

• 会話的で複数ターンのQA設定において、質問が過去の対話履歴に依存するというギャップに対処すること。
• 質問と会話履歴の間の共参照的依存関係をモデリングし、質問における代名詞や省略表現を可能にすること。
• 段階的に早期の部分から後期の部分へと会話の焦点をシフトさせる仕組みを用いて、滑らかな会話フローを確保すること。
• 文法的正しさ、回答可能性、相互接続性を同時に最適化するエンドツーエンドフレームワークの構築

提案手法

• 共参照整合性は、生成された質問内の代名詞を会話履歴内の先行詞に一致させるポインタネットワークによってモデリングされる。
• 会話フローは、デコーダーが初期のチャンクから始まり、徐々に後続のチャンクへと焦点をシフトさせる順序付きで注意を払う、順次的かつ注意重み付きの方法でモデリングされる。
• パassageを表現するための階層的エンコーダーと、会話履歴と現在のターンの文脈をエンコードするためのデュアルエンコーダー機構を用いる。
• 質問生成、共参照予測、パassageチャネルの注意重み付けの整合性を同時に最適化するマルチタスク学習目的関数を採用。
• 事実の正確性を保ち、OoV（未知語）の問題を軽減するため、コピーメカニズムを備えたポインタジェネレーターネットワークを採用。
• 生成用の交差エントロピー損失と共参照整合性用のコントラスト損失を組み合わせて、CoQAデータセット上でエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、文法的に正しいだけでなく、過去の対話ターンと文脈的に接続された質問をどのように生成できるか？
• RQ2 共参照整合性の導入が、会話的質問系列の整合性と自然さをどの程度向上できるか？
• RQ3 パassageの物語的進行をモデリングすることで、会話の各ターンにおける焦点のスムーズな移行を向上させられるか？
• RQ4 会話フローモデリングを統合した場合、単一ターンのベースラインと比較して、複数ターンの質問生成の質にどのような影響を与えるか？
• RQ5 人間による評価で測られる質問の相互接続性の向上において、共参照整合性とフローモデリングの相対的な貢献度はどの程度か？

主な発見

• 提案されたCFNetモデルは、相互接続性に関する人的評価で最高得点（満点3点中2.67）を記録し、PGNet（1.59）およびMSNet（1.74）を有意に上回り、p値 < 0.01を達成した。
• CFNetは文法的正しさ（3点中2.89）と回答可能性（3点中2.74）においても高い性能を示し、高い自然さと事実の関連性を示した。
• 「なぜ？」や「何について？」といった、会話履歴に依存する不完全な質問を効果的に生成でき、会話的整合性の高さが裏付けられた。
• 手動分析により、共参照整合性が質問内の代名詞を過去の対話ターンの先行詞に効果的に結びつけることが確認された。
• 会話フローモデリングにより、図1に示すように、初期のパassageチャネルから後続のチャネルへと自然な焦点の移行が実現され、人間の会話パターンと整合した。
• アブレーションスタディにより、共参照整合性と会話フローモデリングの両方が相互接続性の向上に顕著な貢献をしていることが確認され、特に共参照整合性の影響がより強いことが分かった。