[论文解读] A Challenge on Semi-Supervised and Reinforced Task-Oriented Dialog Systems

Zhijian Ou, Junlan Feng+6 more|arXiv (Cornell University)|Jul 6, 2022

Speech and dialogue systems被引用 8

一句话总结

本文介绍了sereTOD挑战，这是一个基于MobileCS数据集的大规模共享任务，专注于半监督和强化学习的对话导向型对话系统——包含10万条真实世界中文客服对话，仅1万条已标注。该挑战推动了半监督信息抽取和对话系统强化学习的研究，利用未标注数据和预训练模型以减少对人工标注的依赖。

ABSTRACT

A challenge on Semi-Supervised and Reinforced Task-Oriented Dialog Systems, Co-located with EMNLP2022 SereTOD Workshop.

研究动机与目标

• 通过推广半监督和强化学习技术，解决对话导向型对话（TOD）系统中的标签稀缺问题。
• 通过利用真实客服互动中的大规模未标注对话数据，实现TOD系统的可扩展开发。
• 通过一个全新的大规模数据集（MobileCS）提供半监督信息抽取和端到端对话策略学习的基准。
• 激发在低资源对话设置下对零样本/少样本学习、迁移学习和强化学习的研究。
• 通过包含两个赛道的共享任务，促进对话系统与知识对齐的协同进展：信息抽取和对话策略学习。

提出的方法

• 引入MobileCS数据集，包含来自中国移动的10万条真实世界中文对话转录文本，其中1万条已针对实体、属性、意图和对话状态进行完整标注。
• 设计结构化标注模式，用于实体（如“和风套餐”）、属性（如“流量总量”：20 GB）和意图（如“求助-查询(ent-1-业务规则)”用于用户查询）。
• 通过在大规模未标注对话数据池上进行预训练、自训练、迁移学习和潜在变量建模，支持半监督学习。
• 通过将对话策略学习建模为马尔可夫决策过程（MDP），支持强化学习，支持通过奖励塑造和用户模拟器进行训练。
• 为Track 2提供基线系统，并允许使用外部预训练模型或公开数据集以提升性能。
• 实施严格的评估规则：禁止人工检查测试数据，且外部数据/资源必须公开可用。

实验结果

研究问题

• RQ1 半监督技术在多大程度上能减少对话导向型对话系统对人工标注的依赖？
• RQ2 预训练模型和迁移学习在对话意图和槽位检测的零样本或少样本设置下，能多大程度上提升性能？
• RQ3 强化学习能否在具有大动作空间的复杂真实对话场景中有效训练对话策略？
• RQ4 在大规模真实数据集（如MobileCS）上，半监督和强化学习系统的性能与合成基准（如MultiWOZ）相比如何？
• RQ5 在低资源设置下，使用非结构化知识源对齐对话回复的最有效策略是什么？

主要发现

• MobileCS数据集是目前公开可用的最大规模对话导向型对话数据集，包含10万条真实对话和1万条完整标注，远超MultiWOZ（8,438条对话）。
• 该数据集包含87,933条未标注对话，支持在真实世界非模拟交互中开展广泛的半监督学习实验。
• 标注模式支持细粒度的实体、属性和意图标注，包括在未提及实体名称时标注属性的情况（如“38元一个月”对应实体为“NA”）。
• 该挑战支持两个赛道：Track 1（信息抽取）和Track 2（对话系统构建），评估与排名独立，鼓励多样化的研究方法贡献。
• 通过共享任务，可使用真实客服数据对半监督和强化学习对话系统进行基准测试，重点在于减少对昂贵人工标注的依赖。
• 参赛者被禁止人工检查测试数据，确保对自动化系统公平评估和泛化能力的准确衡量。