[論文レビュー] Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness

L. Zhao, Ting Liu+2 more|arXiv (Cornell University)|Oct 15, 2020

Adversarial Robustness in Machine Learning参考文献 78被引用数 64

ひとこと要約

情報ボトルネックに基づく最大エントロピー正則化を用いた ME-ADA を導入。敵対的データ拡張中に予測エントロピーを最大化してより難しい摂動を生成し、ドメインシフトと破損へのロバスト性を向上させる。

ABSTRACT

Adversarial data augmentation has shown promise for training robust deep neural networks against unforeseen data shifts or corruptions. However, it is difficult to define heuristics to generate effective fictitious target distributions containing "hard" adversarial perturbations that are largely different from the source distribution. In this paper, we propose a novel and effective regularization term for adversarial data augmentation. We theoretically derive it from the information bottleneck principle, which results in a maximum-entropy formulation. Intuitively, this regularization term encourages perturbing the underlying source distribution to enlarge predictive uncertainty of the current model, so that the generated "hard" adversarial perturbations can improve the model robustness during training. Experimental results on three standard benchmarks demonstrate that our method consistently outperforms the existing state of the art by a statistically significant margin.

研究の動機と目的

• 未見ドメインシフトや破損に対する頑健な一般化を adversarialデータ拡張で動機付ける。
• 情報理論的正則化を埋め込み、予測不確実性を拡大させるより難しいターゲット分布を生成する。
• 最大エントロピー原理を用いてデータを拡張する計算的に効率的な最大化フェーズを開発する。
• 分類設定における最大エントロピー正則化子の実装に関する理論的根拠と実践的指針を提供する。

提案手法

• 交差エントロピーに相互情報量 I(X;Z) を加えた教師付き情報ボトルネック (IB) 目的を定式化する。
• IB目的を最大エントロピー正則化子で緩和・近似し、I(X;Z) を H(Ŷ) に置換して最大化フェーズの計算可能性を実現する。
• 最大化フェーズ（データ拡張）と最小化フェーズ（モデル更新）を交互に行う反復トレーニングループによって、得られたミニマックス問題を解く。
• ソフトマックス出力から経験的に H(Ŷ) を推定し、ロバストな代理損失 φγ を用いて敵対的摂動を伝播させる。
• L_CE + β H(Ŷ) − γ cθ を最大化するように入力を摂動させ、難しい敵対的例を生成する最大化ステップを実装する。
• ME-ADA の予測不確実性をより適切に捉えるため、確率的ネット（BNNs）への拡張も検討。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネックに基づく情報理論的正則化は敵対的データ拡張の有効性を高めるか。
• RQ2 I(X;Z) を扱いやすいエントロピー代理 H(Ŷ) に置換してドメインシフトや破損へのロバスト性を保持・向上させるか。
• RQ3 ME-ADA フレームワークは複数のドメイン・アーキテクチャ（MNIST シフト、PACS、CIFAR-10/100-C）で有効か。

主な発見

SVHN	MNIST-M	SYN	USPS	Average
42.00	63.98	49.80	79.10	58.72
42.56	63.27	50.39	81.04	59.32

• ME-ADA は複数のベンチマークで最先端ベースラインを統計的に有意に上回る。
• MNIST のドメインシフトタスクでは、ME-ADA（BNN付きも）ERM, ADA, PAR を上回り、ターゲットドメイン全体の平均精度が最も高い。
• PACS 全体では、ドメイン識別なしの手法の中で最高性能を示し、ドメイン認識を用いる手法に近い。
• CIFAR-10-C および CIFAR-100-C では、さまざまなアーキテクチャでロバスト性を大幅に向上させ、従来法を数ポイント上回ることが多い。
• 経験的エントロピーベースの代理は非決定論的またはドロップアウト有効ネットワーク下でも有効性を維持し、理論的裏付けがある。