[論文レビュー] QAConv: Question Answering on Informative Conversations

Chien-Sheng Wu, Andrea Madotto+3 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling被引用数 10

ひとこと要約

本稿では、ビジネスメール、パネルディスカッション、ワークチャネルなどの長く複雑で情報豊富な会話に基づく質問応答（QA）データセットであるQAConvを紹介する。質問生成と会話要約を組み合わせたマルチステージパイプラインを採用し、34,608組の人的検証済みQAペアを収集した。2つの評価モード（チャンクモードおよびフルモード）により、既存のQAモデルに顕著な性能差が示され、ドキュメントベースのQAと比較して会話ベースのQAははるかに困難であることが浮き彫りになった。

ABSTRACT

This paper introduces QAConv, a new question answering (QA) dataset that uses conversations as a knowledge source. We focus on informative conversations, including business emails, panel discussions, and work channels. Unlike open-domain and task-oriented dialogues, these conversations are usually long, complex, asynchronous, and involve strong domain knowledge. In total, we collect 34,608 QA pairs from 10,259 selected conversations with both human-written and machine-generated questions. We use a question generator and a dialogue summarizer as auxiliary tools to collect and recommend questions. The dataset has two testing scenarios: chunk mode and full mode, depending on whether the grounded partial conversation is provided or retrieved. Experimental results show that state-of-the-art pretrained QA systems have limited zero-shot performance and tend to predict our questions as unanswerable. Our dataset provides a new training and evaluation testbed to facilitate QA on conversations research.

研究の動機と目的

• ビジネスメール、パネルディスカッション、ワークチャネルなどの長く複雑で情報豊富な会話における質問応答のためのトレーニングおよび評価データの不足を解消すること。
• 複数の発話者に散らばる情報、複雑な共参照関係、会話ベースのQAにおける教師なし学習の課題を克服すること。
• 質問生成と会話要約を用いたスケーラブルなデータ収集パイプラインを構築し、高品質で人的検証済みのQAペアを生成すること。
• ゼロショットおよび微調整済みモデルの性能を評価する2つの明確な評価シナリオ（チャンクモードおよびフルモード）を確立し、会話知識源におけるQAモデルの性能を評価すること。
• 特にタスク指向でない、ドメイン豊富な会話における会話ベースのQAの最先端技術を評価・向上させるための新しいベンチマークを提供すること。

提案手法

• 実世界のソースから10,259件の情報豊富な会話を収集：ビジネスメール、パネルディスカッション、ワークチャネル（例：Slack、Zoom）。
• 人的アノテーションおよび機械によるQAペア生成を容易にするために、長時間の会話を短い会話チャンクに分割する。
• マルチホップ質問生成モデルおよび会話要約モデルを訓練し、機械生成されたQAペアを生成する。
• アマゾンMechanical Turkを介したクラウドソーシングを活用し、人的に作成されたQAペアを収集し、信頼性が低い機械生成ペアを検証する。
• QAモデルを適用して曖昧または低品質なサンプルを特定し、データ品質を保証するための追加的人的検証ステップを実施する。
• 最終的なデータセットをトレーニング、バリデーション、テストセットに分割し、2つの評価モードを設定：(1) チャンクモード（部分的な文脈が提供される）および (2) フルモード（リトリーブが必要）。

実験結果

リサーチクエスチョン

• RQ1 質問生成と会話要約のパイプラインは、情報豊富な会話における高品質で多様なQAペアの生成にどの程度効果的か？
• RQ2 最先端の事前学習済みQAモデルは、特にゼロショット設定において、会話ベースのQAにどの程度一般化可能か？
• RQ3 ドキュメントベースのQA（例：Wikipedia）と会話ベースのQAの間には、どの程度の性能差が存在するか？
• RQ4 リトリーブを伴うQAモデルは、会話のリトリーブステップが必要なフルモード設定において、どの程度の性能を示すか？
• RQ5 マルチホップおよび共参照に依存する質問を会話文脈で回答する際の主な失敗モードと課題は何か？

主な発見

• SQuAD 2.0で微調整されたRoBERTa-Largeのような最先端のスパン抽出モデルは、QAConvにおいてゼロショット性能が限定的であり、しばしば質問を「回答不能」と予測する。
• UnifiedQAのような生成モデルはより良い一般化性能を示すが、会話文脈における複雑なマルチホップ質問では依然として性能が劣る。
• ドキュメントベースのQAと会話ベースのQAの間には顕著な性能差が存在し、標準的なベンチマークと比較してQAConvでは正答率が著しく低下する。
• リトリーブが必要なフルモードでは、チャンクモードと比較して性能が著しく低下しており、リトリーブが主要なボトルネックであることが示された。
• マルチスパンおよびマルチホップ質問は特に困難であり、モデルは共参照の解決や複数発話者にわたる情報の統合に頻繁に失敗する。
• 人的評価により、質問生成パイプラインが高品質で多様かつ文脈的に関連性のある質問を生成できていることが確認され、データ収集アプローチの有効性が裏付けられた。