[論文レビュー] What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys

Yubin Ge, Ziang Xiao+4 more|arXiv (Cornell University)|May 23, 2022

Expert finding and Q&A systems被引用数 6

ひとこと要約

本稿では、対話履歴と外部知識を活用して、情報的で整合性のあるフォローアップ質問を生成する、知識駆動型で二段階のフレームワークを提案する。人間がアノテートした新しいデータセットと、参照なしのグリス的評価指標（Gricean-inspired）を導入し、GPTベースのベースラインと比較して、文脈的に関連性があり、明確で情報豊富な質問を生成するという点で優れた性能を示した。

ABSTRACT

Generating follow-up questions on the fly could significantly improve conversational survey quality and user experiences by enabling a more dynamic and personalized survey structure. In this paper, we proposed a novel task for knowledge-driven follow-up question generation in conversational surveys. We constructed a new human-annotated dataset of human-written follow-up questions with dialogue history and labeled knowledge in the context of conversational surveys. Along with the dataset, we designed and validated a set of reference-free Gricean-inspired evaluation metrics to systematically evaluate the quality of generated follow-up questions. We then propose a two-staged knowledge-driven model for the task, which generates informative and coherent follow-up questions by using knowledge to steer the generation process. The experiments demonstrate that compared to GPT-based baseline models, our two-staged model generates more informative, coherent, and clear follow-up questions.

研究の動機と目的

• 対話的アンケートにおけるフォローアップ質問生成のためのデータセットと評価ベンチマークの不足に対処すること。
• 対話履歴を超える外部知識の統合により、フォローアップ質問の質と多様性を向上させること。
• 動的でパーソナライズされたアンケートインタラクションにおいて、ルールベースおよびテンプレートベース手法の限界を克服すること。
• 人間の判断と整合するスケーラブルな参照なし評価指標を開発すること。
• 文脈に配慮した、知識拡張型の質問生成により、対話的アンケートにおける情報収集をより効果的にすること。

提案手法

• 二段階モデル：まず、知識選択器が対話履歴に基づいて知識ベース内の顕著なエンティティ・関係ペアを特定し、質問のトピックと焦点とする。
• 次に、GPTベースの生成モデルが、対話履歴と選択された知識を条件として用いてフォローアップ質問を生成し、関連性と情報性を保証する。
• グリスの規準に基づく、参照なしの新しいグリス的スコア（Gricean Scores）を設計。関連性、情報性、真実性、明確さ、整合性を測定する。
• 知識選択器は、事前学習済みの知識埋め込み（例：TransE）を用いて、質問の焦点に適した意味的関連性のある知識を検索する。
• フレームワークは、対話履歴、背景知識、人間が書いたフォローアップ質問を含む、新たに収集した人間がアノテートしたデータセット上で訓練および評価される。
• 異なる事前学習言語モデルを、それぞれの評価次元に使用することで、事前学習の目的と整合させ、分布シフトを低減する。

実験結果

リサーチクエスチョン

• RQ1 対話的アンケートにおけるフォローアップ質問は、どのようにしてより情報的で整合的かつ文脈的に関連性のあるものとして生成できるか？
• RQ2 外部知識は、生成されたフォローアップ質問の質と多様性をどの程度向上させられるか？
• RQ3 参照なしのグリス的原則に基づく評価指標は、ゴールドリファレンスが不要な状況でも、フォローアップ質問の質を効果的に測定できるか？
• RQ4 知識駆動型の二段階アプローチは、GPTベースのベースラインと比較して、高品質なアンケート質問を生成する点でどのように優れているか？
• RQ5 知識と対話履歴の統合により、オープンドメインのアンケートにおいて、よりパーソナライズされ、目的志向の質問生成が可能になるか？

主な発見

• 提案された二段階の知識駆動型モデルは、自動指標と人間評価の両面で、GPTベースのベースラインと比較して、顕著に情報量が多く、整合性があり、明確なフォローアップ質問を生成した。
• 対話履歴、アノテート済みの知識、人間が書いたフォローアップ質問を含む、新規のデータセットは、対話的アンケートにおける知識駆動型質問生成の体系的かつ包括的な研究を可能にした。
• 参照なしのグリス的スコアは人間の判断とよく相関し、BLEU や METEOR などの標準的自動指標よりも、より洗練された洞察を提供した。
• 知識選択器は、Freebase から関連するエンティティ・関係ペアを効果的に特定し、生成された質問の焦点と関連性を向上させた。
• 定量的指標および定性的分析の両面で、フレームワークは競合するベースラインを上回り、実世界のアンケートシナリオにおける有効性を示した。
• 限界として、一般向けの知識ベース（例：Freebase）に依存していること、および知識埋め込みの品質に制限があることが判明した。今後の研究では、ドメイン特化型の知識グラフの活用が提案される。