[論文レビュー] Open-Retrieval Conversational Machine Reading

Yifan Gao, Jingjing Li+3 more|arXiv (Cornell University)|Feb 17, 2021

Topic Modeling参考文献 36被引用数 13

ひとこと要約

本論文は、システムが複数のノイズ混じりのルール文を検索し、それらを吟味してユーザーの質問に段階的に応答するオープンリトリーブ対話的機械読解設定を導入する。提案されたMudernモデルは、話法に配慮した複数文書における含意推論を用いて、条件の抽出、満たされている状態の評価、回答するか明確化の質問をするかの意思決定を行う。このモデルは新たに作成されたOR-ShARCデータセットにおいて最先端の性能を達成した。

ABSTRACT

In conversational machine reading, systems need to interpret natural language rules, answer high-level questions such as "May I qualify for VA health care benefits?", and ask follow-up clarification questions whose answer is necessary to answer the original question. However, existing works assume the rule text is provided for each user question, which neglects the essential retrieval step in real scenarios. In this work, we propose and investigate an open-retrieval setting of conversational machine reading. In the open-retrieval setting, the relevant rule texts are unknown so that a system needs to retrieve question-relevant evidence from a collection of rule texts, and answer users' high-level questions according to multiple retrieved rule texts in a conversational manner. We propose MUDERN, a Multi-passage Discourse-aware Entailment Reasoning Network which extracts conditions in the rule texts through discourse segmentation, conducts multi-passage entailment reasoning to answer user questions directly, or asks clarification follow-up questions to inquiry more information. On our created OR-ShARC dataset, MUDERN achieves the state-of-the-art performance, outperforming existing single-passage conversational machine reading models as well as a new multi-passage conversational machine reading baseline by a large margin. In addition, we conduct in-depth analyses to provide new insights into this new setting and our model.

研究の動機と目的

• 関連するルール文が事前に提供されないオープンリトリーブ設定を導入することで、対話的機械読解におけるギャップを埋める。
• オープンリトリーブ対話的機械読解のための最初のデータセットであるOR-ShARCを構築し、ユーザーの質問が不完全な場合に特定の恩恵に根拠を置くことで曖昧さを解消する。
• 複数の検索されたルール文を対象に意思決定を行うか、フォローアップ質問を提示するための、複数文書に配慮した話法的含意推論ネットワークであるMudernを設計・評価する。
• 既存のルール文と新しいルール文の両方に対してモデルの頑健性を分析し、新しいルール文文書へのゼロショット一般化の課題を明らかにする。

提案手法

• ShARCデータセットの不完全な質問を、特定の恩恵に特化した完全な質問に再定式化し、オープンリトリーブ設定における曖昧さを解消する。
• TF-IDFを用いて、ノイズ混じりや関係のない文を含む、複数の関連ルール文をデータコレクションから検索する。
• 話法セグメンテーションを適用して、ルール文から個々の条件を特定・抽出し、構造的理解を向上させる。
• ユーザーが提供する情報に基づき、各条件の満たされている状態を評価する複数文書含意推論フレームワークを採用する。
• RoBERTaベースの文書エンコーディングと文間トランスフォーマーレイヤーを統合し、文間関係をモデル化し、推論性能を向上させる。
• 含意の監視を用いて、条件の満たされている状態に基づき、意思決定を「はい」「いいえ」「尋ねる」に分類するようにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 関連するルール文が事前に提供されず、大規模なコレクションから検索しなければならない場合、対話的機械読解モデルの性能はどの程度低下するか？
• RQ2 話法セグメンテーションは、複数文書推論における条件抽出と意思決定の正確性にどのような影響を与えるか？
• RQ3 ノイズ混じりまたは関係のないルール文が検索された場合、複数文書含意推論は対話的意思決定においてどの程度効果的か？
• RQ4 トレーニング時に存在しなかった新しいルール文書に対してもモデルは一般化できるか？
• RQ5 モデルアーキテクチャのどの要素—話法セグメンテーション、トランスフォーマーレイヤー、含意推論—が性能向上に最も寄与しているか？

主な発見

• MudernはOR-ShARCで最先端の性能を達成し、テストセットにおけるマクロF1スコアが75.3%にのぼり、単一文書モデルやMP-RoBERTaベースラインを上回った。
• 含意推論を除去した場合、マクロ精度が3.9%低下した。これは、意思決定において含意推論が極めて重要な役割を果たしていることを確認している。
• 話法セグメンテーションを導入することで、マクロ精度が0.7%向上した。これは、複数の節を含む複雑なルール文を正しく解析するうえで有効であることを示している。
• 既存のルール文ではマクロ精度88.1%、未確認のルール文では66.4%と顕著な差が見られた。これは、一般化の課題が顕著であることを示している。
• アブレーションスタディの結果、文間トランスフォーマーレイヤーがテスト時のマクロ精度に1.1%の寄与を示した。これは、トークンレベルの注目と相補的に機能していることを示している。
• 「尋ねる」クラスにおいて、Mudernは最高の予測精度を達成し、明確化の質問が必要な場面を的確に特定できることを示している。