[论文解读] A Scalable Neural Shortlisting-Reranking Approach for Large-Scale Domain Classification in Natural Language Understanding

Young‐Bum Kim, Dongchan Kim+2 more|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 33被引用 3

一句话总结

本文提出一种可扩展的两阶段神经方法——筛选后重排序——用于自然语言理解中的大规模领域分类。该方法使用轻量级BiLSTM模型高效识别前k个候选领域，随后通过上下文感知的BiLSTM模型进行列表级重排序以提升准确率，在1,500个领域的数据集上实现了91.13%的top-1准确率。

ABSTRACT

Intelligent personal digital assistants (IPDAs), a popular real-life application with spoken language understanding capabilities, can cover potentially thousands of overlapping domains for natural language understanding, and the task of finding the best domain to handle an utterance becomes a challenging problem on a large scale. In this paper, we propose a set of efficient and scalable neural shortlisting-reranking models for large-scale domain classification in IPDAs. The shortlisting stage focuses on efficiently trimming all domains down to a list of k-best candidate domains, and the reranking stage performs a list-wise reranking of the initial k-best domains with additional contextual information. We show the effectiveness of our approach with extensive experiments on 1,500 IPDA domains.

研究动机与目标

• 解决智能个人数字助手（IPDAs）在数千个重叠领域下可扩展领域分类的挑战。
• 克服传统基于模式的系统在新增领域时成为瓶颈的局限性。
• 减少因要求在话语中显式提及领域而带来的用户交互摩擦。
• 开发一种系统，利用神经模型从大量重叠领域中高效识别最相关的领域。
• 通过结合轻量级筛选与基于BiLSTM的上下文丰富重排序，提升分类准确率。

提出的方法

• 在筛选阶段使用轻量级BiLSTM模型，仅处理字符级和词级特征，生成候选领域的k个最佳列表。
• 应用基于第二个BiLSTM的列表级重排序模型，整合来自k个最佳候选者的丰富上下文信息和交叉假设特征。
• 采用三种重排序策略：点对点、成对和列表级，其中列表级方法表现更优。
• 使用所有领域的softmax（$smx_a$）和聚焦于top-k的softmax（$smx_b$）比较评分策略，结果显示$smx_b$在大规模设置中更具鲁棒性。
• 使用Dynet进行模型训练，采用Adam优化和变分dropout进行正则化，以确保泛化能力和稳定性。
• 在传统（数十个领域）和大规模（1,500个领域）两种设置下评估系统，以展示其可扩展性和性能提升。

实验结果

研究问题

• RQ1 两阶段神经筛选-重排序框架能否在NLU系统中有效扩展至1,500个重叠领域？
• RQ2 在重排序中引入上下文和交叉假设特征，相较于仅依赖筛选阶段，能否显著提升领域分类准确率？
• RQ3 在大规模领域分类中，点对点、成对和列表级重排序策略的相对性能如何？
• RQ4 在领域高度重叠的场景下，使用聚焦于top-k的softmax（$smx_b$）是否优于全领域softmax（$smx_a$）？
• RQ5 轻量级筛选模型在多大程度上可实现高准确率？在大规模数据集上，重排序能带来多大性能提升？

主要发现

• 在传统IPDA设置（数十个领域）下，筛选模型在top-1预测上的准确率超过95%，当真实领域位于前5名时，准确率接近99%。
• 在1,500个领域的大规模设置下，仅使用筛选模型的top-1准确率下降至81.38%（$smx_a$）和81.49%（$smx_b$），表明重排序的必要性。
• 列表级重排序模型$LSTM^C$在$smx_b$设置下达到最高准确率91.13%，显著优于点对点和成对方法。
• 在大规模设置中，$smx_a$与$smx_b$之间的性能差距扩大，表明$smx_b$通过保留候选者之间的相对置信度，能更好地处理重叠领域。
• 将人工设计的交叉假设特征加入自动学习的LSTM特征中并未提升性能，表明模型学习到的表征本身已足够有效。
• HypRank性能的上限由筛选阶段决定，k-best列表（尤其是k=5）已捕获了大部分相关候选者，且当k>5时性能趋于平稳。