[论文解读] It's better to say "I can't answer" than answering incorrectly: Towards Safety critical NLP systems

Neeraj Varshney, Swaroop Mishra+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 25被引用 5

一句话总结

本文提出一种校准方法，该方法预测模型预测正确的概率，而非将正确性视为二元标签，从而提升安全关键型自然语言处理任务中的可靠性。在MNLI和OOD基准测试中，该方法将AUC提升最高达10.22%，并在保持99%域内准确率的前提下，使模型对额外2.6%的分布外样本实现拒答。

ABSTRACT

In order to make AI systems more reliable and their adoption in safety critical applications possible, it is essential to impart the capability to abstain from when their prediction is likely to be incorrect and seek human intervention. Recently proposed selective answering techniques model calibration as a binary classification task. We argue that, not all incorrectly answered questions are incorrect to the same extent and the same is true for correctly answered questions. Hence, treating all correct predictions equally and all incorrect predictions equally constraints calibration. In this work, we propose a methodology that incorporates the degree of correctness, shifting away from classification labels as it directly tries to predict the probability of model's prediction being correct. We show the efficacy of the proposed method on existing Natural Language Inference (NLI) datasets by training on SNLI and evaluating on MNLI mismatched and matched datasets. Our approach improves area under the curve (AUC) of risk-coverage plot by 10.22\% and 8.06\% over maxProb with respect to the maximum possible improvement on MNLI mismatched and matched set respectively. In order to evaluate our method on Out of Distribution (OOD) datasets, we propose a novel setup involving questions with a variety of reasoning skills. Our setup includes a test set for each of the five reasoning skills: numerical, logical, qualitative, abductive and commonsense. We select confidence threshold for each of the approaches where the in-domain accuracy (SNLI) is 99\%. Our results show that, the proposed method outperforms existing approaches by abstaining on 2.6\% more OOD questions at respective confidence thresholds.

研究动机与目标

• 通过使模型在预测可能错误时选择拒答，提升自然语言处理系统在安全关键应用中的可靠性。
• 解决现有选择性回答方法将所有正确和错误预测同等对待的局限性。
• 对正确性的程度进行建模，而非使用二元分类进行校准。
• 在分布外设置下评估模型在多种推理能力上的表现。
• 通过改进置信度校准，实现更高覆盖率的正确预测，同时最小化错误预测。

提出的方法

• 该方法从对正确性的二元分类转变为预测模型预测正确的概率。
• 采用回归式方法估计正确性的可能性，以捕捉预测质量的细微差别。
• 模型在SNLI上进行训练，并在MNLI的匹配与不匹配数据集上进行评估，以衡量校准性能。
• 引入一种新颖的OOD评估设置，包含五类推理能力：数值推理、逻辑推理、定性推理、溯因推理和常识推理。
• 通过选择置信度阈值，确保在SNLI上保持99%的域内准确率，从而实现不同方法间的公平比较。
• 采用风险-覆盖率图评估拒答与正确性之间的权衡。

实验结果

研究问题

• RQ1 将正确性程度建模是否能超越二元分类，在自然语言处理中实现更优的校准？
• RQ2 所提出方法在具有多样化推理能力的分布外样本上表现如何？
• RQ3 与maxProb基线相比，该方法能否在风险-覆盖率图上实现更高的AUC？
• RQ4 在保持域内准确率的前提下，该方法在多大程度上可提升对分布外数据的拒答率？
• RQ5 该方法在分布外设置下，能否在不同推理类型上实现泛化？

主要发现

• 与maxProb基线相比，该方法在MNLI不匹配集上的风险-覆盖率图AUC提升10.22%。
• 在MNLI匹配集上，相对于最大可能提升幅度，实现了8.06%的改进。
• 在99%域内准确率阈值下，该方法使模型对2.6%更多的分布外样本实现拒答，优于现有方法。
• 该方法在OOD评估设置的全部五类推理能力类别中均表现出一致的性能提升。
• 结果证实，将正确性建模为连续概率可提升自然语言处理系统的校准效果与安全性。
• 该方法在域内与域外设置下均优于maxProb，表明其具备更广泛的可靠性。