[論文レビュー] Adversarial Unlearning: Reducing Confidence Along Adversarial Directions

Amrith Setlur, Benjamin Eysenbach+2 more|arXiv (Cornell University)|Jun 3, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、大スケールの adversarial パーティクルを介して生成された分布外の例における予測信頼度を低下させることで、一般化性能を向上させる新しい正則化法 RCAD（Reducing Confidence along Adversarial Directions）を提案する。これらの自己生成で高レベルに摂動を加えた例においてエントロピーを最大化することで、RCAD は誤った特徴を学習しなおし、ベンチマーク全体でテスト精度を1–3%向上させる。特にデータが少ない状況で顕著な向上が見られ、計算コストの増加は最小限で、既存の手法（例：ラベルスムージングや MixUp）と組み合わせても相乗効果を発揮する。

ABSTRACT

Supervised learning methods trained with maximum likelihood objectives often overfit on training data. Most regularizers that prevent overfitting look to increase confidence on additional examples (e.g., data augmentation, adversarial training), or reduce it on training data (e.g., label smoothing). In this work we propose a complementary regularization strategy that reduces confidence on self-generated examples. The method, which we call RCAD (Reducing Confidence along Adversarial Directions), aims to reduce confidence on out-of-distribution examples lying along directions adversarially chosen to increase training loss. In contrast to adversarial training, RCAD does not try to robustify the model to output the original label, but rather regularizes it to have reduced confidence on points generated using much larger perturbations than in conventional adversarial training. RCAD can be easily integrated into training pipelines with a few lines of code. Despite its simplicity, we find on many classification benchmarks that RCAD can be added to existing techniques (e.g., label smoothing, MixUp training) to increase test accuracy by 1-3% in absolute value, with more significant gains in the low data regime. We also provide a theoretical analysis that helps to explain these benefits in simplified settings, showing that RCAD can provably help the model unlearn spurious features in the training data.

研究の動機と目的

• 分布外の例が adversarial パーティクルに類似している場合に、その信頼度を低下させることで、教師あり学習における過学習を是正する新しいインダクティブバイアスを導入すること。
• 従来の正則化手法が、拡張データにおける信頼度を増加させるか、分布内例における信頼度を低下させるという限界を克服すること。
• ラベルなしデータや複雑なアーキテクチャを必要とせず、シンプルで効率的かつ合成可能な正則化子を開発すること。
• 理論的および実験的に、adversarial パーティクルを加えた例における信頼度の低下が、学習データ内の誤った特徴を学習しなおすのを助けることを示すこと。

提案手法

• 訓練入力に標準の FGSM より10倍大きなステップサイズの adversarial パーティクルを適用することで、分布外の例を生成する（損失勾配を用いて）。
• これらの adversarial パーティクルを加えた例において予測エントロピーを最大化することで、モデルが不確実になるように促し、非頑健な特徴に過信しないように正則化する。
• 標準的な訓練パイプラインに約5行のコードで RCAD を統合し、元のデータにおける標準的な交差エントロピー損失と、摂動を加えた入力におけるエントロピー最大化を組み合わせる。
• 2段階の訓練目的を採用：元のデータでは標準的な交差エントロピーを最小化し、大スケール摂動を加えた adversarial 例ではエントロピーを最大化する。
• 分類および回帰の両タスクにこの手法を適用し、テスト精度と対数尤度の両方で一貫した向上を達成する。
• このアプローチは計算的に効率的であり、標準的な訓練時間に最大30%のオーバーヘッドしか追加しない。

実験結果

リサーチクエスチョン

• RQ1 自己生成で高レベルに摂動を加えた adversarial 例におけるモデルの信頼度を低下させることで、分布内テストデータの一般化性能が向上するか？
• RQ2 RCAD は、高次元ノイズが存在する状況でモデルが過学習する誤った特徴を効果的に学習しなおせるか？
• RQ3 データが少ない状況におけるテスト精度と耐性の観点から、RCAD は adversarial 訓練やラベルスムージングと比べてどのように性能を発揮するか？
• RQ4 RCAD は MixUp やラベルスムージングなどの他の正則化技術と効果的に組み合わせられ、さらなる性能向上をもたらすか？
• RQ5 簡略化された設定において、RCAD が一般化性能を向上させることの理論的根拠は何か？

主な発見

• RCAD は複数の分類ベンチマークでテスト精度を1–3%の絶対値で向上させ、特にデータが少ない状況で顕著な向上を示す。
• トイラーノン線形分類タスクでは、標準的な ERM が80.4%のテスト精度を示すのに対し、RCAD は94.9%のテスト精度を達成し、誤った特徴の学習しなおしの強力な証明を示す。
• RCAD は adversarial 訓練（FGSM）や ME-ADA よりも優れた性能を示し、分布内性能が低下することなく、あるいはそれを改善する。
• 入力次元の増加やノイズレベルの上昇に対してもロバストであり、ベースラインと比較して性能低下が最小限に抑えられる。
• RCAD をラベルスムージングや MixUp と組み合わせることでさらなる性能向上が得られ、相乗効果が示唆される。
• 理論的分析により、RCAD は簡略化された設定において誤った特徴の学習しなおしを確実に助ける可能性を示しており、実験結果と整合的である。