[論文レビュー] INSCIT: Information-Seeking Conversations with Mixed-Initiative Interactions

Zeqiu Wu, Ryu Parish+5 more|arXiv (Cornell University)|Jul 2, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、Wikipediaを用いて直接回答（72%）、確認（13%）、関連する部分情報（13%）を提供する混合指向対話を持つ、805件のヒューマン・ヒューマン情報探索会話から構成される新しいオープンドメインデータセットINSCITを紹介する。このデータセットは、証拠文書特定および応答生成の2つのタスクをサポートしており、最先端モデルと人間のパフォーマンスの間で顕著なギャップを示しており、複数文書の推論や直接的回答でない戦略の実装における課題を浮き彫りにしている。

ABSTRACT

In an information-seeking conversation, a user may ask questions that are under-specified or unanswerable. An ideal agent would interact by initiating different response types according to the available knowledge sources. However, most current studies either fail to or artificially incorporate such agent-side initiative. This work presents InSCIt, a dataset for Information-Seeking Conversations with mixed-initiative Interactions. It contains 4.7K user-agent turns from 805 human-human conversations where the agent searches over Wikipedia and either directly answers, asks for clarification, or provides relevant information to address user queries. The data supports two subtasks, evidence passage identification and response generation, as well as a human evaluation protocol to assess model performance. We report results of two systems based on state-of-the-art models of conversational knowledge identification and open-domain question answering. Both systems significantly underperform humans, suggesting ample room for improvement in future studies.

研究の動機と目的

• 既存のデータセットに実際的で混合指向の情報探索会話が不足している問題に対処する。ここでのエージェントは、確認や部分的応答、関連情報の提示を通じて、ユーザーを的確に導く。
• Wikipediaからの複数の証拠文書を扱い、曖昧な情報や不完全なクエリに対処できる会話エージェントの研究を支援する。
• モデルの応答における一貫性、事実の整合性、情報の包括性を評価する人間による評価プロトコルを提供する。
• Wikipediaに根ざしたオープンドメインで複数ターンにわたる会話において、最先端モデルの証拠文書特定および応答生成のベンチマークを提供する。
• 直接回答生成を超えた、複数証拠の統合や戦略的応答選択における主な課題を特定する。

提案手法

• 人間の作業者がユーザーとエージェントを模倣して、Wikipediaを用いた自然でオープンエンドな会話の中で、スケーラブルなアノテーションパイプラインを用いてデータセットを収集した。
• エージェントはWikipediaを検索し、関連する証拠文書を特定し、3つの応答戦略のうちから選択した：直接回答、確認、関連する部分情報の提供。
• 2つのコアタスクを定義した：(1) Wikipediaからの証拠文書特定、(2) 特定された証拠に基づいた応答生成。
• 複数のアノテーターが、さまざまな応答タイプにおいて一貫性、事実の整合性、包括性の観点から応答を評価する人間による評価プロトコルを設計した。
• 2つの強力なベースラインを実装した：1つは、段階的なDIALKI+FiDシステムを用いた文書検索と応答生成、もう1つは統合的検索・生成モデルを用いたもの。
• 自動評価にはBLEUおよびRouge-F1スコアを使用した一方、人間評価にはモデル出力の評価を目的とした構造化されたアノテーション方式を採用した。

実験結果

リサーチクエスチョン

• RQ1 最先端モデルは、オープンドメインで複数ターンにわたる情報探索会話において、関連するWikipedia文書をどれほど正しく特定できるか？
• RQ2 証拠が複数の文書に散らばる、または直接的回答でない戦略を要する場合、モデルは一貫性があり、事実に整合的で包括的な応答をどれほど生成できるか？
• RQ3 確認や部分的応答といった混合指向エージェント行動を含めることで、直接回答のみの設定と比較して、モデルのパフォーマンスにどのような影響が及ぶか？
• RQ4 曖昧で不完全なクエリ、複数証拠を含むクエリを処理する際、現在のモデルが示す主な失敗モードは何か？
• RQ5 複雑な混合指向会話において、応答品質の人の間での判断を予測する自動評価指標はどれほど有効か？

主な発見

• 最良のモデル（DIALKI+FiD）は、オラクルの証拠文書と応答タイプが与えられた場合、開発セットでRouge-F1 48.7、テストセットで47.4を達成した。
• オラクルの証拠と応答タイプが与えられた状態でも、モデルのRouge-F1（47.4）は人間のパフォーマンスに大きく及ばず、さらなる改善の余地が大きいことが示された。
• 非直接的応答戦略（確認や関連部分情報）において、性能ギャップが最大であり、戦略的応答生成における課題が浮き彫りになった。
• 証拠文書特定が応答の一貫性に顕著に影響を与えることが示され、より良い応答品質のためには証拠の検索を改善することが不可欠であることがわかった。
• 複数の証拠文書から情報を統合しながら、事実の整合性と包括性を維持することは、依然として解決されていない大きな課題である。
• 結果から、現在のモデルはオープンエンドで複数文書にわたる推論を苦手とし、複雑な情報探索シナリオにおいて適切なエージェント主導の戦略を採用できないことが明らかになった。