[论文解读] Improved and Efficient Conversational Slot Labeling through Question Answering

Gabor Fuisz, Ivan Vulić+3 more|arXiv (Cornell University)|Apr 5, 2022

Topic Modeling被引用 5

一句话总结

该论文提出 QASL，一种用于对话式槽位标注的问答（QA）框架，通过将槽位填充任务重新表述为问答任务，并利用预训练语言模型实现。通过结合上下文提示、轻量级适配器微调，以及人工构建与自动生成的 QA 数据集，QASL 在低资源设置下实现了最先进性能，同时在多种模型和领域中保持高效与鲁棒性。

ABSTRACT

Transformer-based pretrained language models (PLMs) offer unmatched performance across the majority of natural language understanding (NLU) tasks, including a body of question answering (QA) tasks. We hypothesize that improvements in QA methodology can also be directly exploited in dialog NLU; however, dialog tasks must be extit{reformatted} into QA tasks. In particular, we focus on modeling and studying extit{slot labeling} (SL), a crucial component of NLU for dialog, through the QA optics, aiming to improve both its performance and efficiency, and make it more effective and resilient to working with limited task data. To this end, we make a series of contributions: 1) We demonstrate how QA-tuned PLMs can be applied to the SL task, reaching new state-of-the-art performance, with large gains especially pronounced in such low-data regimes. 2) We propose to leverage contextual information, required to tackle ambiguous values, simply through natural language. 3) Efficiency and compactness of QA-oriented fine-tuning are boosted through the use of lightweight yet effective adapter modules. 4) Trading-off some of the quality of QA datasets for their size, we experiment with larger automatically generated QA datasets for QA-tuning, arriving at even higher performance. Finally, our analysis suggests that our novel QA-based slot labeling models, supported by the PLMs, reach a performance ceiling in high-data regimes, calling for more challenging and more nuanced benchmarks in future work.

研究动机与目标

• 通过将槽位标注重新表述为问答任务，提升对话式槽位标注的性能与数据效率。
• 通过自然语言提示引入上下文信息，增强对槽位值歧义的鲁棒性。
• 利用适配器模块实现预训练语言模型在槽位标注任务上的高效且紧凑的微调。
• 评估结合大规模自动构建 QA 数据集与高质量人工构建 QA 数据集在基于 QA 的微调中的有效性。
• 评估基于 QA 的槽位标注方法在不同预训练语言模型、数据集及低资源设置下的泛化能力与鲁棒性。

提出的方法

• 通过为每个槽位构建自然语言问题，将每个槽位标注任务重新表述为 QA 任务，例如：'入住日期是什么？'
• 将先前对话轮次的上下文信息注入 QA 提示中以解决歧义，例如：'在前述上下文下，入住日期是什么？'
• 采用基于适配器的微调方法，实现预训练语言模型的参数高效微调，降低训练与推理成本。
• 在高质量人工构建的 QA 数据集与大规模自动构建的 QA 数据集上联合训练 QA 模型，以探索数据效率的权衡。
• 采用基于跨度的答案预测方法，直接从模型输出中提取槽位值，与标准槽位标注评估协议保持一致。
• 在多个对话基准与预训练语言模型上评估该框架，以衡量其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 经过 QA 微调的预训练语言模型是否能在对话式槽位标注任务中实现最先进性能，尤其是在低资源条件下？
• RQ2 如何有效将先前对话轮次的上下文信息整合到 QA 提示中，以提升对重叠或模糊槽位值的消歧能力？
• RQ3 与全量微调相比，基于适配器的微调在显著降低计算与内存开销的同时，能在多大程度上保持性能？
• RQ4 将大规模自动构建的 QA 数据集与小规模高质量人工构建数据集结合，是否能带来优于单独使用任一数据集的性能提升？
• RQ5 该基于 QA 的槽位标注方法在不同预训练语言模型与对话领域基准上的鲁棒性如何？

主要发现

• QASL 在标准槽位标注基准上实现了最先进性能，尤其在低资源设置下表现突出，展现出卓越的数据效率。
• 通过自然语言提示引入上下文信息，显著提升了对模糊槽位值的消歧能力，尤其在复杂对话场景中效果明显。
• 基于适配器的微调实现了紧凑、高效且快速的模型适配，与全量微调相比性能损失极小。
• 使用大规模自动构建的 QA 数据集进行 QA 微调可带来更高性能，而将其与高质量人工构建数据集结合可进一步提升结果。
• 该框架在多种预训练语言模型与对话领域中表现出强鲁棒性，表明其具有广泛适用性。
• 尽管性能优异，本文仍发现现有基准（如 DSTC8）存在标注不一致问题，可能人为限制模型性能，提示未来工作需构建更精细、无错误的基准。