[論文レビュー] Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free

Haotao N. Wang, Tianlong Chen+4 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用数 17

ひとこと要約

本稿では、再訓練を伴わずに標準的精度とロバストネスのトレードオフを探索できる、1つの訓練済みモデルのイン・サイト調整を可能にする Once-for-All Adversarial Training (OAT) フレームワークを提案する。モデル条件付き学習と二重バッチ正規化を用いることで、標準的特徴と adversarial 特徴の統計を分離し、推論時に動的に調整可能となる。このアプローチにより、特定のトレードオフに最適化されたモデルを再訓練して得られる性能と同等またはそれを上回る性能を達成する。

ABSTRACT

Adversarial training and its many variants substantially improve deep network robustness, yet at the cost of compromising standard accuracy. Moreover, the training process is heavy and hence it becomes impractical to thoroughly explore the trade-off between accuracy and robustness. This paper asks this new question: how to quickly calibrate a trained model in-situ, to examine the achievable trade-offs between its standard and robust accuracies, without (re-)training it many times? Our proposed framework, Once-for-all Adversarial Training (OAT), is built on an innovative model-conditional training framework, with a controlling hyper-parameter as the input. The trained model could be adjusted among different standard and robust accuracies free at testing time. As an important knob, we exploit dual batch normalization to separate standard and adversarial feature statistics, so that they can be learned in one model without degrading performance. We further extend OAT to a Once-for-all Adversarial Training and Slimming (OATS) framework, that allows for the joint trade-off among accuracy, robustness and runtime efficiency. Experiments show that, without any re-training nor ensembling, OAT/OATS achieve similar or even superior performance compared to dedicatedly trained models at various configurations. Our codes and pretrained models are available at: this https URL.

研究の動機と目的

• 再訓練を伴わずに、深層ニューラルネットワークにおける精度-ロバストネスのトレードオフを効率的に探索する課題に対処すること。
• 推論後の動的モデルキャリブレーションにより、 adversarial 訓練の計算負荷を低減すること。
• 精度、ロバストネス、推論効率の統合的最適化を可能にする統一フレームワークの開発。
• 異なる精度-ロバストネス設定に対応する複数のモデルを訓練する必要を排除すること。

提案手法

• 推論時に標準的精度とロバストネスのトレードオフを制御できる1つのハイパーパrameterを有するモデル条件付き学習フレームワークを導入すること。
• 二重バッチ正規化を用いて、標準的特徴と adversarial 特徴の統計を分離し、性能の低下を伴わずに共同学習を可能にすること。
• 1つのモデルを訓練し、推論時にさまざまな精度-ロバストネスパレートフロンティア上の点に動的に調整できることを実現すること。
• OAT を OATS に拡張し、モデルプルーニングを統合して、精度、ロバストネス、推論効率の共同最適化を可能にすること。
• 推論時に適応的正規化統計を用いた1回の順伝播で、さまざまな設定間を切り替えること。
• すべての設定で同じモデルアーキテクチャと重みを活用し、再訓練やアンサンブルを回避すること。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、1つの訓練済みモデルが推論時に精度とロバストネスのトレードオフを動的に調整できるか？
• RQ2 二重バッチ正規化が、性能の低下を伴わずに標準的特徴と adversarial 特徴の統計を効果的に分離できるか？
• RQ3 OAT は、特定の精度-ロバストネス設定に最適化されたモデルと比較して、どの程度の性能を達成できるか？
• RQ4 OAT を精度、ロバストネス、推論効率の共同最適化に拡張できるか？
• RQ5 計算コストとモデルの柔軟性の観点から、OAT のイン・サイトキャリブレーションは、既存の手法と比較してどの程度優れているか？

主な発見

• OAT は、再訓練やアンサンブルを伴わず、1つのモデルを複数の精度-ロバストネストレードオフに対してイン・サイトで動的にキャリブレート可能である。
• 二重バッチ正規化機構により、標準的特徴と adversarial 特徴の統計が効果的に分離され、すべての設定で高い性能が維持される。
• OAT は、特定の精度-ロバストネス設定に最適化されたモデルと同等またはそれ以上の性能を達成する。
• OATS の拡張により、精度、ロバストネス、推論効率の共同最適化が可能となり、追加コストは最小限に抑えられる。
• 実験により、提案フレームワークがさまざまなモデル構成とデータセットで最先端のトレードオフ性能を達成することが確認された。