[論文レビュー] TopiOCQA: Open-domain Conversational Question Answeringwith Topic Switching.

Vaibhav Adlakha, Shehzaad Dhuliawala+3 more|arXiv (Cornell University)|Oct 2, 2021

Topic Modeling参考文献 31被引用数 4

ひとこと要約

TopiOCQA は、Wikipedia から抽出されたトピックスイッチを伴う挑戦的なオープンドメイン対話的質疑応答データセットを提供する。3,920件のマルチターン会話が含まれており、自由形式の回答が特徴である。モデルのリトリーブと応答生成の性能を、動的なトピックシフトの下で評価し、F1スコア51.9、BLEUスコア42.1を達成した。これは人間の性能より著しく低い結果であり、データセットの難易度と研究的価値を示している。

ABSTRACT

In a conversational question answering scenario, a questioner seeks to extract information about a topic through a series of interdependent questions and answers. As the conversation progresses, they may switch to related topics, a phenomenon commonly observed in information-seeking search sessions. However, current datasets for conversational question answering are limiting in two ways: 1) they do not contain topic switches; and 2) they assume the reference text for the conversation is given, i.e., the setting is not open-domain. We introduce TopiOCQA (pronounced Tapioca), an open-domain conversational dataset with topic switches on Wikipedia. TopiOCQA contains 3,920 conversations with information-seeking questions and free-form answers. TopiOCQA poses a challenging test-bed for models, where efficient retrieval is required on multiple turns of the same conversation, in conjunction with constructing valid responses using conversational history. We evaluate several baselines, by combining state-of-the-art document retrieval methods with neural reader models. Our best models achieves F1 of 51.9, and BLEU score of 42.1 which falls short of human performance by 18.3 points and 17.6 points respectively, indicating the difficulty of our dataset. Our dataset and code will be available at https://mcgill-nlp.github.io/topiocqa

研究の動機と目的

• 現実の情報探索セッションで一般的なトピックスイッチを含むオープンドメイン対話的QAデータセットの不足に応えること。
• 参照文書が事前に提供されない現実的で、複数ターンにわたる動的リトリーブを必要とする対話的QAのベンチマークを提供すること。
• トピックスイッチに対応する際のリトリーブ拡張モデルの有効性を評価すること。
• 現在のモデルが複雑で変化し続ける会話的文脈下で、推論とリトリーブにどの程度欠落しているかを明らかにするリソースを提供すること。

提案手法

• Wikipediaの記事から3,920件のマルチターン会話を構築し、情報探索の過程で自然に発生するトピックスイッチを再現する。
• 情報探索用の質問と自由形式の回答を含む会話を設計し、多様で現実的な対話パターンを確保する。
• 各ターンにおいて会話履歴の変化に応じて動的に関連するWikipediaの断片をリトリーブすることで、オープンドメインリトリーブを実装する。
• 最先端のニューラルリーダーモデルとリトリーブ手法を組み合わせ、取得した文書に基づいた応答を生成する。
• 前回のターンの文脈と取得した証拠が共同で応答生成に影響を与える、リトリーブ拡張生成フレームワークを実装する。
• 複数ターンの評価プロトコルを採用し、モデルが会話全体の文脈を事前に入手せずに、トピック遷移にわたって一貫性と正確性を維持する必要がある。

実験結果

リサーチクエスチョン

• RQ1 リトリーブ拡張モデルは、事前に指定された参照文書が与えられない状況下で、オープンドメイン対話的QAにおけるトピックスイッチをどの程度適切に処理できるか。
• RQ2 トピックが複数ターンにわたって変化する際、現在のニューラルリーダーモデルは応答の質と一貫性をどの程度維持できるか。
• RQ3 静的トピック設定と比較して、トピック遷移に直面した際、リトリーブ拡張モデルの性能はどのように低下または向上するか。
• RQ4 オープンドメインでトピックが変化する対話的QAにおいて、人間の性能とモデル性能のギャップはどの程度か。

主な発見

• 最良のモデルはTopiOCQAベンチマークでF1スコア51.9、BLEUスコア42.1を達成した。
• 最良のモデルと人間の性能との間には、F1で18.3ポイント、BLEUで17.6ポイントのギャップがあり、改善の余地が著しく大きいことが示された。
• トピックスイッチは大きな課題をもたらし、モデルは進化するトピックにわたって一貫性と関連性を維持することが困難である。
• トピックスイッチが発生するとリトリーブの効果が低下し、モデルは新しい情報源に再び動的に関与する必要がある。
• 現在のリトリーブ拡張モデルはトピックスイッチに対して頑健ではなく、長距離依存関係や文脈の進化を適切にモデル化できないという限界がある。
• このデータセットは、最先端のモデルですらオープンドメイン、マルチターン、トピックスイッチを伴う状況では十分に一般化できないことを明らかにした。