[论文解读] A Persian Benchmark for Joint Intent Detection and Slot Filling

Masoud Akbari, Amir Hossein Karimi+6 more|arXiv (Cornell University)|Mar 1, 2023

Topic Modeling被引用 5

一句话总结

本文提出了首个公开可用的波斯语联合意图识别与槽位填充基准，通过半自动将英文ATIS数据集翻译为波斯语构建而成。该研究在新基准上评估了最先进模型的性能，结果显示JointBERT在波斯语上表现最佳，而Co-Interactive Transformer在英文上表现最佳，凸显了针对低资源语言（如波斯语）改进多语言表征的必要性。

ABSTRACT

Natural Language Understanding (NLU) is important in today's technology as it enables machines to comprehend and process human language, leading to improved human-computer interactions and advancements in fields such as virtual assistants, chatbots, and language-based AI systems. This paper highlights the significance of advancing the field of NLU for low-resource languages. With intent detection and slot filling being crucial tasks in NLU, the widely used datasets ATIS and SNIPS have been utilized in the past. However, these datasets only cater to the English language and do not support other languages. In this work, we aim to address this gap by creating a Persian benchmark for joint intent detection and slot filling based on the ATIS dataset. To evaluate the effectiveness of our benchmark, we employ state-of-the-art methods for intent detection and slot filling.

研究动机与目标

• 为解决波斯语意图识别与槽位填充任务缺乏公开可用数据集的问题。
• 基于ATIS数据集构建一个高质量、公开可访问的波斯语基准。
• 在新创建的波斯语基准上评估最先进模型在联合意图识别与槽位填充任务上的表现。
• 为未来波斯语自然语言理解研究提供标准化基线。
• 通过将ATIS基准扩展至波斯语，支持多语言自然语言理解系统的发展。

提出的方法

• 采用半自动翻译流程将原始英文ATIS数据集转换为波斯语，同时保留意图和槽位标注。
• 在保持英文与波斯语文本样本之间分布和对应关系一致的前提下，将数据集划分为训练集、验证集和测试集。
• 对多语言预训练模型（如mBERT）进行微调，以完成意图识别与槽位填充任务。
• 在上下文嵌入基础上应用序列分类与序列标注头，实现意图与槽位的联合预测。
• 训练并评估多种模型，包括Co-Interactive Transformer、JointBERT以及基于CRF的RNN模型，使用标准指标进行评估。
• 评估重点为意图识别的准确率与槽位填充的F1分数，并通过类别层面分析评估模型在低频类别上的表现。

实验结果

研究问题

• RQ1 最先进模型在新创建的波斯语联合意图识别与槽位填充基准上的表现如何？
• RQ2 模型在波斯语与英文ATIS数据上的性能差异是什么？
• RQ3 意图与槽位类别中的类别不平衡如何影响模型在波斯语数据集上的泛化能力？
• RQ4 多语言嵌入的质量在低资源语言（如波斯语）上的表现影响有多大？
• RQ5 现有基于英文的自然语言理解模型能否通过极少微调有效适配波斯语？

主要发现

• JointBERT在波斯语数据集上的意图识别准确率最高，优于其他模型（包括Co-Interactive Transformer）。
• Co-Interactive Transformer在英文ATIS数据集上表现最佳，与JointBERT的差距可忽略不计。
• 在波斯语上的两项任务性能均低于英文，主要归因于嵌入维度较低（波斯语GloVe为50D，英文为300D）。
• 模型在罕见意图与槽位类别上的表现显著下降，准确率随类别频率降低而下降。
• 波斯语槽位填充的性能与标签频率高度相关，与意图识别表现一致。
• CNN-LSTM-CRF在单次学习模式下于波斯语槽位填充任务中取得第二名成绩，表明其尽管整体准确率较低，但具备强大的序列建模能力。