[論文レビュー] Improving Calibration through the Relationship with Adversarial Robustness

Yao Qin, Xuezhi Wang+2 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、各入力の adversarial robustness に基づいてトレーニングラベルを適応的にスムージングすることで、モデルのキャリブレーションを向上させる AR-AdaLS という手法を提案する。adversarial に非耐性な入力は、誤ってキャリブレーションされやすいことを同定し、AR-AdaLS はこうした脆弱な例に対してより強いラベルスムージングを適用することで、推論遅延を伴わず、安定性が向上するという顕著なキャリブレーションの向上を実現する。特に分布シフト下でも顕著である。

ABSTRACT

Neural networks lack adversarial robustness, i.e., they are vulnerable to adversarial examples that through small perturbations to inputs cause incorrect predictions. Further, trust is undermined when models give miscalibrated predictions, i.e., the predicted probability is not a good indicator of how much we should trust our model. In this paper, we study the connection between adversarial robustness and calibration and find that the inputs for which the model is sensitive to small perturbations (are easily attacked) are more likely to have poorly calibrated predictions. Based on this insight, we examine if calibration can be improved by addressing those adversarially unrobust inputs. To this end, we propose Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) that integrates the correlations of adversarial robustness and calibration into training by adaptively softening labels for an example based on how easily it can be attacked by an adversary. We find that our method, taking the adversarial robustness of the in-distribution data into consideration, leads to better calibration over the model even under distributional shifts. In addition, AR-AdaLS can also be applied to an ensemble model to further improve model calibration.

研究の動機と目的

• adversarial robustness とモデルキャリブレーションの関係を調査すること、特に非耐性入力が誤ってキャリブレーションされやすいかどうかを明らかにすること。
• トレーニング例の adversarial robustness に基づいて、監視を区別することで、モデルキャリブレーションを改善すること。
• 推論効率が高く、遅延を増加させずにキャリブレーションを向上させるスケーラブルな手法を開発すること。
• 分布シフト下でのキャリブレーション向上を目的として、アンサンブルモデルへの手法の拡張を図ること。
• adversarial robustness の推定精度がキャリブレーション性能に与える影響を評価すること。

提案手法

• AR-AdaLS は、各入力の adversarial robustness に基づいてトレーニングラベルを適応的にソフト化し、より耐性のある例ほどスムージングが小さくなるようにする。
• adversarial robustness は、モデルをだませるのに必要な摂動の大きさで測定され、入力を耐性サブセットにグループ化する。
• ラベルスムージングはサブセットごとに適用され、より脆弱な例ほど、過信を低減するため、より強いスムージングが施される。
• 事前に計算されたまたはリアルタイムでの adversarial robustness 評価を用い、リアルタイム評価の方が計算コストは高いが、性能が優れる。
• AR-AdaLS は『アンサンブルの AR-AdaLS』を介してアンサンブルに拡張され、アンサンブル内の各ベースモデルに適応的スムージングが適用される。
• アプローチは adversarial robustness を不確実性の代理として統合し、キャリブレーションと安定性の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットとアーキテクチャにおいて、adversarial robustness とモデルキャリブレーションの間に有意な相関があるか？
• RQ2 トレーニング例の adversarial robustness を根拠に適応的ラベルスムージングを適用することで、キャリブレーションを改善できるか？
• RQ3 adversarial robustness 推定の精度が、AR-AdaLS のキャリブレーション性能に与える影響は？
• RQ4 標準的なラベルスムージングやアンサンブルと比較して、AR-AdaLS は分布がシフトしたデータ上でもキャリブレーションを改善するか？
• RQ5 深層アンサンブルモデルに AR-AdaLS を適用することで、さらにキャリブレーションを向上させられるか？

主な発見

• adversarial に非耐性な入力は、顕著に誤ってキャリブレーションされやすく、ECE や予測分散が高くなる。
• CIFAR-100 では、AR-AdaLS により ECE がバニラモデルの 6.1 から 2.3 に低下し、汚染データ上では cECE が 18.2 から 13.2 に低下し、標準的なラベルスムージングや温度スケーリングを上回る。
• リアルタイムでの adversarial robustness 評価を用いることで、事前計算された評価よりもキャリブレーション性能が向上し、アブレーションスタディでは cECE が 13.2 まで低下する一方、14.2 にとどまる。
• 10 個の耐性サブセットを用いた AR-AdaLS は安定した性能を示し、R=10 を超えるとほとんど改善が得られないため、サブセット数に対して頑健であることが示された。
• AR-AdaLS は独立した実行間の予測分散を低減し、実用的デプロイメントにおけるモデルの安定性を向上させる。
• アンサンブルに適用した場合、AR-AdaLS of Ensemble は標準的なアンサンブルを上回るキャリブレーション性能を示し、特に分布がシフトしたデータ上での向上が顕著である。