[論文レビュー] MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps

Muhammad Awais, Fengwei Zhou+4 more|arXiv (Cornell University)|Nov 9, 2021

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

MixACMは、mixup拡張入力から生成された活性化チャネルマップをマッチングすることで、敵対的に訓練された教師モデルから生徒モデルへ堅牢性を知識蒸留する手法を提案する。標準の敵対的訓練とは異なり、高コストな反復的敵対的攻撃を回避し、計算コストを抑え、より小さなモデルで、より高い堅牢性と自然な精度を達成する。

ABSTRACT

Deep neural networks are susceptible to adversarially crafted, small and imperceptible changes in the natural inputs. The most effective defense mechanism against these examples is adversarial training which constructs adversarial examples during training by iterative maximization of loss. The model is then trained to minimize the loss on these constructed examples. This min-max optimization requires more data, larger capacity models, and additional computing resources. It also degrades the standard generalization performance of a model. Can we achieve robustness more efficiently? In this work, we explore this question from the perspective of knowledge transfer. First, we theoretically show the transferability of robustness from an adversarially trained teacher model to a student model with the help of mixup augmentation. Second, we propose a novel robustness transfer method called Mixup-Based Activated Channel Maps (MixACM) Transfer. MixACM transfers robustness from a robust teacher to a student by matching activated channel maps generated without expensive adversarial perturbations. Finally, extensive experiments on multiple datasets and different learning scenarios show our method can transfer robustness while also improving generalization on natural images.

研究の動機と目的

• 深層学習における敵対的訓練の高コストな計算と性能低下の問題を解決すること。
• エンドツーエンドの敵対的ファインチューニングではなく、中間特徴マッピングによる堅牢性の知識転送を検討すること。
• 生徒モデルの訓練中に敵対的例を必要とせず、最小限の追加計算で堅牢性転送を可能にすること。
• より小さなモデルと少ないデータを用いて、自然画像における堅牢性と一般化性能の両方を向上させること。

提案手法

• 本手法は、反復的敵対的攻撃の生成を避けるために、mixup拡張を用いて補間された訓練サンプルを生成する。
• 堅牢な教師モデルの間接的活性化チャネルマップを蒸留し、生徒モデルの特徴学習をガイドする。
• 蒸留損失は、mixupサンプル上での教師と生徒のチャネルごとの活性化マップ間のL2距離を最小化する。
• 理論的分析により、生徒モデルの敵対的堅牢性は、自然損失とmixupデータ上での教師モデルとの特徴類似度によって上限が示されることが示された。
• 敵対的に訓練されたモデルは、摂動下でも保持される、クラス固有の明確なチャネル活性化パターンを学習するという洞察を活用している。
• 本手法は標準的な訓練パイプラインと互換性があり、通常の蒸留を超えて追加のバックプロパゲーションステップを必要としない。

実験結果

リサーチクエスチョン

• RQ1 訓練中に敵対的例を用いずに、教師モデルから生徒モデルへの堅牢性を効果的に転送できるか？
• RQ2 mixup拡張入力からの活性化チャネルマップのマッチングが、堅牢性と自然な精度の両方を向上させるか？
• RQ3 本手法は、標準の敵対的訓練と比較して、より小さなモデルと少ないデータで強力な堅牢性を達成できるか？
• RQ4 チャネルマップの蒸留による堅牢性転送は、理論的に裏付けられており、データセットやアーキテクチャを越えて一般化可能か？

主な発見

• MixACMは、標準の敵対的訓練と比較して著しく低い訓練コストで、CIFAR-10およびSVHNで競争力のある堅牢な精度を達成した。
• 本手法は自然画像のクリーン精度を向上させつつ、同時に堅牢性を強化し、敵対的訓練における一般的なトレードオフを逆転させた。
• 生徒モデルが教師モデルより小さい場合でも、堅牢性転送が有効であることが実験で示され、強力な一般化能力を示した。
• 実験により、標準データまたは敵対的に摂動を加えたデータでの蒸留よりも、mixupサンプルでの蒸留が堅牢性と効率性の面で優れていることが分かった。
• 理論的分析により、mixup例上での生徒と教師の距離を最小化することで、生徒モデルの敵対的損失が上限付きで抑えられることを確認した。