[論文レビュー] Discern: Discourse-Aware Entailment Reasoning Network for Conversational Machine Reading

Yifan Gao, Chien-Sheng Wu+6 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 24被引用数 6

ひとこと要約

Discernは、会話型機械読解のための議論に配慮した entailment 理由ネットワークを提案する。この手法は、規則文を基本的議論単位（EDU）に分割し、ユーザー入力に対して各EDUの帰結状態（帰結／矛盾／中立）を予測する。帰結状態と最終意思決定の間の依存関係を明示的にモデル化することで、ShARCベンチマークで78.3％のマクロ平均正解率および64.0のBLEU1スコアを達成し、最先端の性能を実現した。

ABSTRACT

Document interpretation and dialog understanding are the two major challenges for conversational machine reading. In this work, we propose Discern, a discourse-aware entailment reasoning network to strengthen the connection and enhance the understanding for both document and dialog. Specifically, we split the document into clause-like elementary discourse units (EDU) using a pre-trained discourse segmentation model, and we train our model in a weakly-supervised manner to predict whether each EDU is entailed by the user feedback in a conversation. Based on the learned EDU and entailment representations, we either reply to the user our final decision "yes/no/irrelevant" of the initial question, or generate a follow-up question to inquiry more information. Our experiments on the ShARC benchmark (blind, held-out test set) show that Discern achieves state-of-the-art results of 78.3% macro-averaged accuracy on decision making and 64.0 BLEU1 on follow-up question generation. Code and models are released at https://github.com/Yifan-Gao/Discern.

研究の動機と目的

• 会話型機械読解における論理構造（例：論理積、論理和）を持つ複雑な規則文を解釈する課題に対処する。
• ユーザー入力と規則条件との間の条件レベルの帰結状態をモデル化することで、対話理解を向上させる。
• 帰結予測を最終意思決定に明示的に結びつけることで、意思決定とフォローアップ質問生成を強化する。
• 帰結推論をマルチタスク目的として扱うか、条件レベルの論理構造を無視する既存手法の限界を克服する。
• 弱教師付きフレームワークを提供し、議論的セグメンテーションを活用して規則文内の条件をより良い推論のために解析する。

提案手法

• 事前学習済みの議論的セグメンテーションモデルを用いて、規則文を句のような基本的議論単位（EDU）に分割し、個々の条件を分離する。
• スタックされた文間トランスフォーマー構造を用い、各EDUに対してユーザーのシナリオと対話履歴を符号化し、帰結の信頼性スコア（帰結／矛盾／中立）を予測する。
• 予測された帰結状態を条件ごとの帰結ベクトルにマップし、規則の論理構造（例：AND、OR）を用いてそれらを組み合わせて最終意思決定を導出する。
• 最終意思決定の正解ラベル（Yes/No/Inquire/Irrelevant）を用いて、帰結予測ヘッドを弱教師付きで学習する。
• 同じ帰結に配慮した表現を用いて、帰結状態が中立または矛盾する未指定の条件を特定することで、フォローアップ質問を生成する。
• 帰結推論と意思決定、質問生成を統合的に最適化する共同学習目的関数を採用し、マルチタスク学習の欠陥を回避する。

実験結果

リサーチクエスチョン

• RQ1 規則文をEDUに議論に配慮してセグメンテーションすることで、会話型機械読解における条件レベルの帰結推論が向上するか？
• RQ2 帰結状態と最終意思決定の間の依存関係を明示的にモデル化することで、マルチタスクやエンドツーエンドアプローチに比べて性能が向上するか？
• RQ3 論理積や論理和のような複雑な論理構造において、本モデルは既存手法に比べてどのように性能を発揮するか？
• RQ4 ユーザーのシナリオ解釈における主な失敗モードは何か？ それらは帰結予測と意思決定の正確性にどのように影響するか？
• RQ5 議論に配慮した帰結推論は、会話型QAシステムにおけるフォローアップ質問生成をどの程度向上させ得るか？

主な発見

• Discernは、ShARCベンチマークの盲検査定セットにおいて、意思決定タスクで78.3％のマクロ平均正解率という、新たな最先端性能を達成した。
• 本モデルは、以前の最良モデルであるEMTに比べ、マイクロ平均正解率で3.8ポイント、マクロ平均正解率で3.5ポイント向上した。
• 本モデルは、インライン条件および論理積の処理において特に優れた性能を示しており、EDUレベルの帰結推論の有効性を裏付けた。
• 本モデルは、BLEU1スコア64.0を達成し、以前の最良モデルであるEMTと同等の性能を発揮した。
• 分析の結果、ユーザーのシナリオ解釈が主なボトルネックであることが判明した。特に、常識的推論や言い換えの推論において、帰結状態が頻繁に誤分類されていた。
• 構造化された条件では高い性能を発揮しているが、論理和の処理では依然として苦戦しており、規則文における論理和のより良い処理が今後の課題である。