[论文解读] A Re-ranker Scheme for Integrating Large Scale NLU models

Chengwei Su, Rahul Gupta+2 more|arXiv (Cornell University)|Sep 25, 2018

Topic Modeling参考文献 17被引用 5

一句话总结

本文提出了一种模块化、可校准的重排序器，用于大规模自然语言理解系统，通过联合优化最高假设的准确性与得分校准，提升了跨领域假设排序性能。该方法支持异步、领域特定的训练，同时保持各领域间得分可比性，相较于基线模型将语义错误率降低了3.7%。

ABSTRACT

Large scale Natural Language Understanding (NLU) systems are typically trained on large quantities of data, requiring a fast and scalable training strategy. A typical design for NLU systems consists of domain-level NLU modules (domain classifier, intent classifier and named entity recognizer). Hypotheses (NLU interpretations consisting of various intent+slot combinations) from these domain specific modules are typically aggregated with another downstream component. The re-ranker integrates outputs from domain-level recognizers, returning a scored list of cross domain hypotheses. An ideal re-ranker will exhibit the following two properties: (a) it should prefer the most relevant hypothesis for the given input as the top hypothesis and, (b) the interpretation scores corresponding to each hypothesis produced by the re-ranker should be calibrated. Calibration allows the final NLU interpretation score to be comparable across domains. We propose a novel re-ranker strategy that addresses these aspects, while also maintaining domain specific modularity. We design optimization loss functions for such a modularized re-ranker and present results on decreasing the top hypothesis error rate as well as maintaining the model calibration. We also experiment with an extension involving training the domain specific re-rankers on datasets curated independently by each domain to allow further asynchronization. %The proposed re-ranker design showcases the following: (i) improved NLU performance over an unweighted aggregation strategy, (ii) cross-domain calibrated performance and, (iii) support for use cases involving training each re-ranker on datasets curated by each domain independently.

研究动机与目标

• 设计一种重排序器，可在保持领域特定模块化的同时，提升大规模自然语言理解系统中的跨领域假设排序性能。
• 确保跨领域的输出得分具有可校准性，以支持可靠的比较与拒绝阈值设定。
• 通过独立整理的数据集，实现领域特定重排序器的异步与并行训练。
• 使用自定义损失函数，联合优化最高假设的正确性与得分校准。
• 评估在各领域训练数据不同步条件下，重排序器的鲁棒性。

提出的方法

• 重排序器使用神经网络模型对领域特定自然语言理解组件（领域分类器、意图分类器、命名实体识别）生成的假设进行重新评分。
• 采用多任务损失函数，结合用于最高假设正确性的排序损失和用于得分可靠性的校准损失。
• 模型使用领域特定数据进行训练，支持各领域独立且异步的训练。
• 通过可靠性曲线目标强制实现校准，确保预测得分反映实际正确率。
• 通过保持各领域间得分分布的一致性，支持各领域的拒绝阈值设定。
• 消融研究评估了在共享与独立采样各领域训练数据下的性能表现。

实验结果

研究问题

• RQ1 模块化重排序器是否能在保持领域内模块化的同时提升自然语言理解的准确性？
• RQ2 引入校准损失是否能提升跨领域的得分可靠性？
• RQ3 在不降低性能的前提下，是否可以使用独立整理的数据集对领域特定重排序器进行训练？
• RQ4 在异步训练条件下，重排序器的性能表现如何？
• RQ5 校准在多大程度上提升了下游决策能力，例如假设拒绝？

主要发现

• 与基线相比，该重排序器将语义错误率（SemER）降低了3.7%，最终达到6.8%的SemER。
• R3模型的跨领域校准曲线接近对角线，表明所有领域内的得分均得到良好校准。
• 各领域的校准曲线显示可靠性显著提升，尤其在低分区间，此前存在较高的过度自信问题。
• 即使每个领域的重排序器均使用训练数据中不同的90%子集进行训练，系统性能仍保持稳定（相对退化仅0.05%）。
• 经过校准的重排序器可安全应用拒绝阈值，减少了因过度自信导致的误拒绝。
• 该方法支持异步训练且无性能损失，实现了各领域更快的模型更新。