[论文解读] Multi-Layer Ensembling Techniques for Multilingual Intent Classification

Charles G. Costello, Ruixi Lin+3 more|arXiv (Cornell University)|Jun 20, 2018

Imbalanced Data Classification Techniques参考文献 1被引用 6

一句话总结

本文提出了一种新颖的多层堆叠集成技术，通过结合多样化的模型架构和随机权重初始化，显著提升了多语言意图分类的性能。通过在三个数据集（ATIS、Banking、SMP2017）上训练并集成12个独立模型，作者在F1分数上分别取得了97.54%、91.79%和93.55%的最先进水平，总性能提升最高达4.04% F1，表明简单且多样的集成方法可与复杂度更高的最先进模型相媲美，且开发成本极低。

ABSTRACT

In this paper we determine how multi-layer ensembling improves performance on multilingual intent classification. We develop a novel multi-layer ensembling approach that ensembles both different model initializations and different model architectures. We also introduce a new banking domain dataset and compare results against the standard ATIS dataset and the Chinese SMP2017 dataset to determine ensembling performance in multilingual and multi-domain contexts. We run ensemble experiments across all three datasets, and conclude that ensembling provides significant performance increases, and that multi-layer ensembling is a no-risk way to improve performance on intent classification. We also find that a diverse ensemble of simple models can reach perform comparable to much more sophisticated state-of-the-art models. Our best F 1 scores on ATIS, Banking, and SMP are 97.54%, 91.79%, and 93.55% respectively, which compare well with the state-of-the-art on ATIS and best submission to the SMP2017 competition. The total ensembling performance increases we achieve are 0.23%, 1.96%, and 4.04% F 1 respectively.

研究动机与目标

• 评估多层堆叠集成在多语言和多领域设置下提升意图分类性能的有效性。
• 确定由简单模型构成的多样化集成是否可达到或超越更复杂最先进模型的性能。
• 分析集成技术在具有不同语言和领域特征的数据集上的泛化能力。
• 量化在多个数据集上，第一层和第二层集成、以及字符嵌入对性能提升的贡献。

提出的方法

• 作者训练了12个基础模型，包括不同架构和随机初始化的CNN和RNN，用于意图分类任务。
• 采用两级集成策略：第一层集成将不同模型类型和初始化方式的预测结果进行融合，第二层集成则进一步聚合这些多样化的第一层输出。
• 该方法同时利用架构多样性（CNN与RNN）和权重初始化多样性，以最大化性能增益。
• 字符嵌入被用作输入特征增强手段，其影响与集成增益分开评估。
• 作者在三个数据集（ATIS，英文；专有Banking数据集，英文；SMP2017，中文）上进行了详尽的实验，共涵盖4,083种独特的集成配置。
• 性能评估采用F1分数，与先前最先进模型进行比较，并对字符嵌入和集成层等单个组件进行消融研究。

实验结果

研究问题

• RQ1 多层堆叠集成是否在多语言和多领域数据集上显著提升意图分类性能？
• RQ2 由简单标准模型构成的多样化集成能否实现与更复杂最先进架构相当的性能？
• RQ3 在具有不同语言和领域特征的数据集上，集成带来的性能增益如何变化？
• RQ4 第一层集成、第二层集成和字符嵌入对整体性能提升的相对贡献是什么？
• RQ5 多层堆叠集成是否是一种低风险、高回报的策略，能在无需调整模型架构的情况下持续提升性能？

主要发现

• 所提出的多层堆叠集成方法在SMP2017数据集上实现了4.04%的绝对F1分数提升，Banking数据集上提升1.96%，ATIS数据集上提升0.23%。
• 最佳集成模型在ATIS数据集上达到97.54%的F1分数，与最先进水平持平；在SMP2017数据集上达到93.55%，属于竞赛中最佳结果之一。
• 对多样化简单模型（不同初始化的CNN和RNN）的集成，性能可与更复杂的注意力机制编码器-解码器网络相媲美。
• 第二层集成对性能提升的贡献大于第一层集成，尤其在SMP2017等复杂数据集上更为显著。
• 字符嵌入在SMP2017上带来了2.10%的F1分数增益，但集成带来的总性能提升（4.04%）远超此值，表明集成是性能提升的主要驱动力。
• 本研究证实，多层堆叠集成是一种无风险、低投入的策略，可在多种数据集和语言上持续提升性能。