[論文レビュー] It's better to say "I can't answer" than answering incorrectly: Towards Safety critical NLP systems

Neeraj Varshney, Swaroop Mishra+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 25被引用数 5

ひとこと要約

本稿では、正しさを二値ラベルとして扱うのではなく、モデルの予測が正しい確率を予測するキャリブレーション手法を提案する。これにより、安全が重要なNLPタスクにおける信頼性が向上する。MNLIおよびOODベンチマークにおいて、AUCが最大10.22%向上し、99%のインドメイン精度を維持した状態で、OOD例のうち2.6%多くを放棄可能となる。

ABSTRACT

In order to make AI systems more reliable and their adoption in safety critical applications possible, it is essential to impart the capability to abstain from when their prediction is likely to be incorrect and seek human intervention. Recently proposed selective answering techniques model calibration as a binary classification task. We argue that, not all incorrectly answered questions are incorrect to the same extent and the same is true for correctly answered questions. Hence, treating all correct predictions equally and all incorrect predictions equally constraints calibration. In this work, we propose a methodology that incorporates the degree of correctness, shifting away from classification labels as it directly tries to predict the probability of model's prediction being correct. We show the efficacy of the proposed method on existing Natural Language Inference (NLI) datasets by training on SNLI and evaluating on MNLI mismatched and matched datasets. Our approach improves area under the curve (AUC) of risk-coverage plot by 10.22\% and 8.06\% over maxProb with respect to the maximum possible improvement on MNLI mismatched and matched set respectively. In order to evaluate our method on Out of Distribution (OOD) datasets, we propose a novel setup involving questions with a variety of reasoning skills. Our setup includes a test set for each of the five reasoning skills: numerical, logical, qualitative, abductive and commonsense. We select confidence threshold for each of the approaches where the in-domain accuracy (SNLI) is 99\%. Our results show that, the proposed method outperforms existing approaches by abstaining on 2.6\% more OOD questions at respective confidence thresholds.

研究の動機と目的

• 予測が誤りである可能性が高い場合にモデルが放棄できるようにすることで、安全が重要な応用におけるNLPシステムの信頼性を向上させること。
• 既存の選択的回答手法が、正しい予測と誤った予測を同等に扱うという限界を是正すること。
• キャリブレーションに二値分類を使用する代わりに、正しさの度合いをモデル化すること。
• 分布外設定における多様な推論スキルのパフォーマンスを評価すること。
• より高い正解予測のカバレッジを達成するとともに、誤った予測を最小限に抑えるために、信頼度のキャリブレーションを改善すること。

提案手法

• 正しさの二値分類から、モデルの予測が正しい確率を予測するものに移行する。
• 予測の質のニュアンスを捉えるために、回帰的アプローチを用いて正しさの確率を推定する。
• SNLIで訓練し、MNLIのマッチドおよびアンマッチドセットで評価することで、キャリブレーション性能を評価する。
• 数的、論理的、定性的、帰納的、一般的常識的推論の5つの推論スキルカテゴリを含む、新しいOOD評価設定を導入する。
• SNLIで99%のインドメイン精度を維持するように信頼度のしきい値を設定し、異なる手法間の公平な比較を可能にする。
• 放棄と正しさのトレードオフを評価するために、リスク・カバレッジプロットを用いる。

実験結果

リサーチクエスチョン

• RQ1 正しさの度合いをモデル化することで、NLPにおける二値分類を超えたキャリブレーション向上が可能か？
• RQ2 提案手法は、多様な推論スキルを持つ分布外例に対してどのように性能を発揮するか？
• RQ3 リスク・カバレッジプロットにおいて、maxProbベースラインよりも高いAUCを達成できるか？
• RQ4 インドメイン精度を維持した状態で、OODデータに対する放棄率をどの程度向上できるか？
• RQ5 分布外設定における異なる推論タイプに、この手法は一般化可能か？

主な発見

• 提案手法は、MNLIアンマッチドセットにおいてmaxProbベースラインよりもリスク・カバレッジプロットのAUCを10.22%向上させた。
• マッチドセットでは、最大の可能な向上幅に対して8.06%の向上を達成した。
• 99%のインドメイン精度のしきい値を維持した状態で、従来手法よりもOOD例のうち2.6%多くを放棄可能となった。
• OOD評価設定の5つの推論スキルカテゴリすべてにおいて、一貫したパフォーマンス向上を示した。
• 正しさを連続的な確率としてモデル化することで、NLPシステムのキャリブレーションと安全性が向上することを確認した。
• インドメインおよび分布外の両設定においてmaxProbを上回る性能を示したため、より広範な信頼性が得られると示唆された。