[論文レビュー] Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections

Wei-Jen Ko, Cutter Dalton+4 more|arXiv (Cornell University)|Nov 1, 2021

Topic Modeling被引用数 7

ひとこと要約

この論文では、前文の文脈に基づいた自由形式の質問を収集することで、ニュース記事内の文の間の話法的・意味的つながりを捉える、新しい質問・回答フレームワークDCQAを紹介する。スケーラブルなクラウドソーシングパラダイムを用い、アノテーターが回答文に基づいて質問を生成することで、包括的で話法的理解を学習するための訓練が可能となり、Longformerベースラインで67%の回答正答率を達成し、合成された無回答可能な質問を含む自由形式QAの分野において有望な結果を示している。

ABSTRACT

While there has been substantial progress in text comprehension through simple factoid question answering, more holistic comprehension of a discourse still presents a major challenge (Dunietz et al., 2020). Someone critically reflecting on a text as they read it will pose curiosity-driven, often open-ended questions, which reflect deep understanding of the content and require complex reasoning to answer (Ko et al., 2020; Westera et al., 2020). A key challenge in building and evaluating models for this type of discourse comprehension is the lack of annotated data, especially since collecting answers to such questions requires high cognitive load for annotators. This paper presents a novel paradigm that enables scalable data collection targeting the comprehension of news documents, viewing these questions through the lens of discourse. The resulting corpus, DCQA (Discourse Comprehension by Question Answering), captures both discourse and semantic links between sentences in the form of free-form, open-ended questions. On an evaluation set that we annotated on questions from Ko et al. (2020), we show that DCQA provides valuable supervision for answering open-ended questions. We additionally design pre-training methods utilizing existing question-answering resources, and use synthetic data to accommodate unanswerable questions.

研究の動機と目的

• 包括的で話法的理解を学習するためのモデル訓練のためのアノテート済みデータの不足に取り組むこと。特に、自由形式で文脈に基づいた質問の分野において。
• 単純な事実抽出クエリではなく、話法的推論を反映する自由形式の質問を生成する、スケーラブルなデータ収集パラダイムの開発。
• 実際のニュース記事から抽出された質問・回答ペアを通じて、文の間の意味的および話法的つながりを捉える新しいデータセットDCQAの作成。
• DCQAが、人間の読者が生成するような複雑で好奇心に基づいた質問に類似した質問に、モデルが効果的に答えるように訓練するための効果的な監視を提供できるかの評価。
• 合成データを用いた無回答可能な質問の処理法を検討し、パイプラインシステムに回答可能性予測を統合する手法の探求。

提案手法

• アノテーターが、事前に指定された質問に答えるのでなく、ある文が回答する質問を、その前のアンカーテキスト文に基づいて生成する、新しいクラウドソーシングパラダイムを採用。
• フレームワークは、文が話法的文脈において果たす機能を反映する質問を収集し、文の間の意味的および話法的関係を捉える。
• 話法的QAにおけるゼロショットおよびフェイントショット性能の向上を図り、既存のQAデータセット（SQuAD、Natural Questions）とDCQAデータを用いて事前学習を実施。
• 回答文の手前まで記事を切り詰めることで、合成された無回答可能な質問を生成。これにより、一貫性を保ちつつ回答可能性予測の訓練が可能になる。
• 2段階のパイプラインを実装：まず、質問が回答可能かどうかを分類器で予測し、その後、QAモデルを用いて回答を生成。
• 評価はinquisitiveおよびTED-Qデータセットで実施され、F1スコアおよび回答可能性予測の正答率を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 話法的駆動で自由形式の質問に基づく質問・回答フレームワークは、ニュース記事内の文の間の意味的および話法的つながりを効果的に捉えることができるか？
• RQ2 回答を確認した後に質問を生成するという提案されたデータ収集パラダイムは、スケーラブルで多様性に富んだ高品質な文脈に基づいた質問を生み出すことができるか？
• RQ3 DCQAデータと事前学習戦略は、事実抽出をはるかに超える複雑な推論を要する自由形式QAタスクの性能向上に寄与するか？
• RQ4 話法的理解における無回答可能な質問をモデル化するための合成データ生成はどの程度有効か。また、回答可能性予測におけるボトルネックは何か？
• RQ5 DCQAフレームワークは、inquisitiveデータセットのような実世界の人の生成した話法的質問にどの程度一般化可能か？

主な発見

• LongformerベースラインはDCQAの質問・回答タスクで67%の正答率を達成し、人間の性能（72.2%）に近づいており、DCQAが話法的理解のための強力な監視を提供していることが示された。
• 回答がアンカーポintsから遠く離れている場合、モデルの性能が著しく低下することが判明し、長距離の話法的推論における課題が浮き彫りになった。
• DCQAと他のQAデータセットを用いた事前学習により、inquisitiveでの性能が向上し、F1スコアはDCQAと事前学習データを用いた場合に0.260から0.358に上昇した。
• 合成された話法的質問では回答可能性予測が84%の正答率を達成したが、実際のinquisitive質問では67%にとどまり、顕著な一般化ギャップとパイプラインにおける主要なボトルネックが明らかになった。
• 回答可能性予測と回答生成を統合したパイプラインシステムは、inquisitiveテストセットでF1スコア0.358を達成し、課題が存在するものの、このアプローチの実現可能性を示した。
• 無回答可能な質問のための合成データ生成法は有効であるが、回答可能性予測のための堅牢な性能を実現するには不十分であり、今後の研究でより良い戦略の必要性が示唆された。