[論文レビュー] Exploring the Hyperparameter Landscape of Adversarial Robustness

Evelyn Duesterwald, Anupama Murthi+3 more|arXiv (Cornell University)|May 9, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 4

ひとこと要約

本稿は、敵対的訓練のハイパーパrameterとモデルのロバストネスの間の複雑な関係を調査し、ロバストネス表面が非常に感受性が高く非線形的であることを示している。本稿では、正確性予算を用いたハイパーパrameter最適化（HPO）フレームワークを提案し、MNISTおよびSVHNで最小限の正確性損失でほぼ最適なロバストネスを達成する自動的なロバストネス-正確性トレードオフのナビゲーションを実現している。

ABSTRACT

Adversarial training shows promise as an approach for training models that are robust towards adversarial perturbation. In this paper, we explore some of the practical challenges of adversarial training. We present a sensitivity analysis that illustrates that the effectiveness of adversarial training hinges on the settings of a few salient hyperparameters. We show that the robustness surface that emerges across these salient parameters can be surprisingly complex and that therefore no effective one-size-fits-all parameter settings exist. We then demonstrate that we can use the same salient hyperparameters as tuning knob to navigate the tension that can arise between robustness and accuracy. Based on these findings, we present a practical approach that leverages hyperparameter optimization techniques for tuning adversarial training to maximize robustness while keeping the loss in accuracy within a defined budget.

研究の動機と目的

• 敵対的訓練における主要ハイパーパrameterの感受性が、敵対的ロバストネスに与える影響を理解すること。
• 複雑で非線形的なロバストネス表面のため、最適なハイパーパrameter設定を特定することが困難であるという課題に対処すること。
• ハイパーパramータチューニングに正確性予算を導入することで、ロバストネスとクリーン正確性のトレードオフを軽減すること。
• 手動によるハイパーパrameterチューニングなしで、実用的かつ原理的かつ自動化されたアプローチを実践者に提供すること。
• 正確性制約下でのロバストネス-正確性トレードオフをナビゲートするためのHPO戦略（グリッドサーチ、ランダムサーチ、TPE）の有効性を評価すること。

提案手法

• 敵対的訓練における顕著なハイパーパrameterであるPGD攻撃比率と摂動の大きさ（ε）について感受性分析を実施する。
• ロバストネスを主目的とし、正確性を制約された予算として扱うことで、敵対的訓練を多目的最適化問題としてモデル化する。
• ハイパーパラメータ空間を探索するために、3つのHPO戦略（グリッドサーチ、ランダムサーチ、Tree-structured Parzen Estimator（TPE））を適用する。
• 許容可能な正確性損失を制限する正確性予算βを組み込み、ロバストネスとクリーン正確性の両立を図るハイパーパラメータ設定への導線を支援する。
• PGDベースの敵対的攻撃を用いて、さまざまなハイパーパラメータ設定下でのロバストネス（AdvAcc）と通常のテスト正確性（TestAcc）を評価する。
• 各設定に対して40回の繰り返し実験を実施し、正確性制約が厳しい状況下でのHPO手法の一貫性と成功確率を評価する。

実験結果

リサーチクエスチョン

• RQ1 PGD比率やεといった主要ハイパーパラメータの変動に対して、敵対的ロバストネスはどの程度感受性を示すか？
• RQ2 ハイパーパラメータ空間全体におけるロバストネス表面の構造はどのようなもので、その複雑さはいかほどか？
• RQ3 ハイパーパラメータ最適化手法は、敵対的訓練におけるロバストネス-正確性トレードオフを効果的にナビゲートできるか？
• RQ4 正確性予算を課すことにより、HPO手法が最適なハイパーパラメータ設定を特定する能力にどのような影響を与えるか？
• RQ5 自動化されたHPO戦略は、正確性の低下を最小限に抑えつつ高いロバストネスを達成するための手動チューニングを上回ることができるか？

主な発見

• ハイパーパラメータ（比率とε）の間のロバストネス表面は非常に複雑で非線形的であり、万能のハイパーパラメータ設定は不可能である。
• 正確性予算なしでグリッドサーチを実施した場合、MNISTでは93.4％の敵対的正確性、SVHNでは40.0％の敵対的正確性を達成したが、クリーン正確性が著しく低下した（例：SVHNで70.9％）。
• MNISTにおいて正確性予算β=1.6％を設定した場合、グリッドサーチは92.7％の敵対的正確性を達成し、同時に98.01％のクリーン正確性を維持した。
• SVHNでは正確性予算β=14.0％を設定することで、38.3％の敵対的正確性と85.6％のクリーン正確性を達成した。これは制約なしの状況（70.9％）と比較して顕著に優れている。
• ランダムサーチとTPEは40回の繰り返しにおいて一貫した性能を示し、TPEは surrogate モデルの利点によりランダムサーチをわずかに上回ったが、両者とも正確性制約下で有効であった。
• 非常に厳しい正確性予算では、ランダムサーチとTPEの成功確率が低下したため、妥当な解を信頼性高く見つけるには複数回の実行が不可欠であると示された。