[论文解读] ISEEQ: Information Seeking Question Generation using Dynamic Meta-Information Retrieval and Knowledge Graphs

Manas Gaur, Kalpa Gunaratna+2 more|arXiv (Cornell University)|Dec 12, 2021

Topic Modeling被引用 4

一句话总结

ISEEQ 是一种新颖的框架，通过动态集成知识图谱和强化学习，从简短的用户查询中生成信息寻求问题（ISQs）。它通过知识增强提升查询理解，检索上下文相关的段落，并生成语义连贯、多样化的 ISQs，在四个数据集上均优于基线模型，展现出强大的跨领域泛化能力。

ABSTRACT

Conversational Information Seeking (CIS) is a relatively new research area within conversational AI that attempts to seek information from end-users in order to understand and satisfy users' needs. If realized, such a system has far-reaching benefits in the real world; for example, a CIS system can assist clinicians in pre-screening or triaging patients in healthcare. A key open sub-problem in CIS that remains unaddressed in the literature is generating Information Seeking Questions (ISQs) based on a short initial query from the end-user. To address this open problem, we propose Information SEEking Question generator (ISEEQ), a novel approach for generating ISQs from just a short user query, given a large text corpus relevant to the user query. Firstly, ISEEQ uses a knowledge graph to enrich the user query. Secondly, ISEEQ uses the knowledge-enriched query to retrieve relevant context passages to ask coherent ISQs adhering to a conceptual flow. Thirdly, ISEEQ introduces a new deep generative-adversarial reinforcement learning-based approach for generating ISQs. We show that ISEEQ can generate high-quality ISQs to promote the development of CIS agents. ISEEQ significantly outperforms comparable baselines on five ISQ evaluation metrics across four datasets having user queries from diverse domains. Further, we argue that ISEEQ is transferable across domains for generating ISQs, as it shows the acceptable performance when trained and tested on different pairs of domains. The qualitative human evaluation confirms ISEEQ-generated ISQs are comparable in quality to human-generated questions and outperform the best comparable baseline.

研究动机与目标

• 为解决在对话式信息检索（CIS）中，从简短用户查询自动生成高质量、好奇心驱动的信息寻求问题（ISQs）这一开放性问题。
• 通过整合专家精心整理的知识图谱，增强查询语义并提升上下文检索能力，以改进 ISQ 生成质量。
• 通过基于强化学习的生成策略，确保生成的 ISQ 保持概念连贯性——即语义关系与逻辑一致性。
• 实现在无需为每个新领域重新收集众包数据的前提下，ISQ 生成的跨领域泛化能力。
• 建立可扩展的自动数据集构建流水线，以加速 CIS 系统的开发。

提出的方法

• ISEEQ 使用知识图谱将初始的简短用户查询扩展为包含语义实体和关系的信息，从而提升下游检索任务的查询表示能力。
• 利用增强后的查询，对大规模语料库执行动态、知识感知的段落检索，以识别适合问题生成的上下文相关段落。
• 采用生成对抗式强化学习（ERL）框架训练 ISQ 生成器，奖励函数基于概念连贯性与逻辑一致性进行设计。
• 奖励模型通过蕴含约束和流畅性指标，优化语义相关性、多样性以及 ISQ 之间的逻辑推进。
• 系统采用两阶段训练流程：首先在监督式 ISQ 数据上微调基于 T5 的序列到序列模型；其次通过人类参与的强化学习反馈信号进一步优化。
• 使用 Ray 进行超参数调优，具体参数包括 α（0.1971）、γ（0.12）和 1.17e-5 的学习率，在四块 V100 GPU 上训练 100–120 个周期。

实验结果

研究问题

• RQ1 专家整理的知识源（如知识图谱）是否能提升 ISQ 的上下文检索与问题生成质量？
• RQ2 ISEEQ 是否能生成保持语义关系与逻辑一致性的 ISQ（即概念连贯性）？
• RQ3 ISEEQ 是否具备跨领域泛化能力，且在无需为新领域重新收集众包数据的前提下，生成高质量 ISQ？
• RQ4 在训练与测试发生在不同领域的跨领域设置下，ISEEQ 的表现如何？
• RQ5 强化学习组件是否能有效引导生成多样化、流畅且上下文连贯的 ISQ？

主要发现

• ISEEQ 在四个多样化数据集（包括 QAD、QAMR、FBC 和 CAsT-19）上，于五项 ISQ 评估指标中显著优于竞争性的 T5 基线与微调基线模型。
• 在 QAMR 数据集上，ISEEQ 达到 ROUGE-L 得分 0.74、F1 得分 0.89 和概念连贯性得分 77.8%，优于最佳基线模型。
• 在跨领域迁移实验中，ISEEQ-ERL 在 {QAD-QAMR} 和 {QAMR-FBC} 组合中均表现出可接受的性能，即使训练数据量小于测试数据量。
• 人工评估显示，ISEEQ 生成的 ISQ 与人工生成的问题（S1）在统计上无显著差异，且显著优于 T5-FT CANARD 基线（S3），S1 与 S2 之间亦无显著差异。
• 该系统展现出强大的泛化能力：在窄领域（FBC）上训练的 ISEEQ 能够为通用领域生成高质量 ISQ，表明其具备零样本或少样本适应的潜力。
• 方差分析（ANOVA）与事后检验确认，ISEEQ 与人工生成的 ISQ 在多样性与连贯性方面均显著优于基线，且 S1 与 S2 的平均得分无统计学差异。