[論文レビュー] Robust Models are less Over-Confident

Julia Grabinski, Paul Gavrikov+2 more|arXiv (Cornell University)|Oct 12, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、敵対的訓練（ロバスト）モデルが、クリーンデータでさえも非ロバストモデルに比べて予測の信頼性が著しく低く、キャリブレーションが向上することを示している。主な発見は、ロバストネス訓練が内在的に過信を低減することであり、高度な活性化関数やダウンサンプリング層といった改良されたネットワーク部品がさらにキャリブレーションを向上させ、ロバストモデルを実世界への導入に向けより信頼性の高いものとしている。

ABSTRACT

Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network's prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model's building blocks (like activation functions and pooling) have a strong influence on the models' prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation

研究の動機と目的

• 敵対的ロバストネスとモデルキャリブレーション、特に予測の信頼性との関係を調査すること。
• ロバストモデルが、クリーン入力および敵対的入力の両方において予測で過信していないかどうかを分析すること。
• 活性化関数やダウンサンプリング層といったアーキテクチャ的要因が、モデルの信頼性とキャリブレーションに与える影響を評価すること。
• ロバストモデルにおける予測の信頼性が、誤った予測を示す指標として信頼できるかどうかを検討すること。
• ロバストネスとキャリブレーションを統合的に分析し、今後の研究において両者を併せて検討すべきであると提言すること。

提案手法

• CIFAR-10、CIFAR-100、ImageNetで、標準的および敵対的訓練を用いて71組のロバストおよび非ロバストモデルを訓練した。
• 正しく予測された場合と誤って予測された場合の両方において、クリーン例および敵対的例の出力の信頼性分布をソフトマックス確率を用いて測定した。
• 特に、改善された活性化関数（例：SiLU）およびダウンサンプリング層といったアーキテクチャ的要因が信頼性キャリブレーションに与える影響を評価した。
• 信頼性のしきい値を用いて誤った予測を検出することで、信頼性がモデルの不確実性の代理としてどれほど信頼できるかを評価した。
• 既知の攻撃と未観測の敵対的攻撃における一般化性能を比較し、特定の摂動に過適合しているかどうかを評価した。
• 再現可能性およびさらなる研究を支援するため、包括的なモデルズーと評価コードを公開した。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練されたモデルは、クリーンデータ上でも非ロバストモデルに比べて、予測の過信が顕著に低いと言えるか？
• RQ2 活性化関数やダウンサンプリング層といったアーキテクチャ的要因は、ロバストモデルの信頼性キャリブレーションにどのように影響するか？
• RQ3 ロバストモデルにおける予測の信頼性は、誤った予測を信頼できる指標として使えるか？
• RQ4 ロバストモデルは未観測の敵対的攻撃に一般化できるのか、それとも訓練時に見られた特定の摂動に過適合してしまうのか？
• RQ5 敵対的訓練がロバストネスそのものに加え、キャリブレーションの向上を内在的にどの程度促進するのか？

主な発見

• 非ロバストモデルは、誤った予測に対して著しく過信しており、敵対的例において平均的な信頼度が95％を超えることがわかった。
• ロバストモデルは、クリーン入力および敵対的入力の両方で著しく低い信頼度を示し、誤った予測の平均信頼度が約50–60％まで低下している。これは、より良いキャリブレーションを示している。
• SiLU活性化関数や特別なダウンサンプリング層といった改善されたアーキテクチャ的要因を組み込んだモデルは、誤った予測における過信をさらに低減し、信頼性キャリブレーションがさらに向上していることがわかった。
• ロバストモデルにおける予測の信頼性は、誤った予測を効果的に検出できる。特に、高信頼度の出力は、正しく分類された分類と強く相関している。
• 改善されたキャリブレーションにもかかわらず、ロバストモデルは訓練時に使用された特定の敵対的攻撃に過適合しており、非ロバストモデルと同様に未観測の攻撃において性能劣化を示している。
• この分析により、敵対的訓練がロバストネスに加え、不確実性推定の信頼性も向上させることを確認した。これは、ロバストネス訓練に有益な副作用が存在することを示唆している。