[論文レビュー] Strength in Numbers: Trading-off Robustness and Computation via Adversarially-Trained Ensembles

Edward Grefenstette, Robert Stanforth+4 more|arXiv (Cornell University)|Nov 22, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 6

ひとこと要約

この論文では、1つの統合モデルとしてより小さなモデルのアンサンブルを敵対的に訓練することで、単一の大規模モデルをスケーリングするのよりも、敵対的ロバストネスをより効率的に向上させる手法を提案している。主な発見は、アンサンブル自体の構造ではなく、アンサンブル全体に対する敵対的訓練がロバストネスを生み出していることである。これは、ロバストネスとモデルサイズの間で、計算コストの面でより効率的なトレードオフを実現している。

ABSTRACT

While deep learning has led to remarkable results on a number of challenging problems, researchers have discovered a vulnerability of neural networks in adversarial settings, where small but carefully chosen perturbations to the input can make the models produce extremely inaccurate outputs. This makes these models particularly unsuitable for safety-critical application domains (e.g. self-driving cars) where robustness is extremely important. Recent work has shown that augmenting training with adversarially generated data provides some degree of robustness against test-time attacks. In this paper we investigate how this approach scales as we increase the computational budget given to the defender. We show that increasing the number of parameters in adversarially-trained models increases their robustness, and in particular that ensembling smaller models while adversarially training the entire ensemble as a single model is a more efficient way of spending said budget than simply using a larger single model. Crucially, we show that it is the adversarial training of the ensemble, rather than the ensembling of adversarially trained models, which provides robustness.

研究の動機と目的

• ディープラーニングモデルにおける計算コストと敵対的ロバストネスのトレードオフを調査すること。
• 小さな、標的の入力摂動によって誤分類を引き起こすニューラルネットワークの脆弱性を解決すること。
• 敵対的訓練と組み合わせたモデルのアンサンブル化が、ロバストネスを向上させるかを調査すること。
• ロバストネスの向上がアンサンブルアーキテクチャそのものに起因するのか、それともアンサンブル全体に対する敵対的訓練に起因するのかを特定すること。
• 固定されたパラメータ予算下での戦略（単一の大規模モデル対アンサンブル）の効率を評価すること。

提案手法

• 複数の小さなニューラルネットワークのアンサンブルを、1つの統合モデルとして同時に訓練し、敵対的訓練をアンサンブル全体に適用する。
• 訓練中に反復的な敵対的攻撃手法（例：PGD、IFGSM）を用いて摂動を生成し、アンサンブル全体のロバストネスを最適化する。
• パラメータ数が同一のモデルを比較：単一の大規模モデル、敵対的訓練を受けていないアンサンブル、および統合的に敵対的訓練を受けたアンサンブル。
• 複数の攻撃タイプ（FGSM、PGD）とメトリクス（クリーン精度、攻撃ステップ数を変化させた際のロバスト精度）を用いてロバストネスを評価する。
• アブレーション解析を実施し、アンサンブル訓練の貢献と単なるアンサンブル化の貢献を分離する。
• CIFAR-10を用いた制御された設定で、訓練のダイナミクス、最終的なパフォーマンス、および攻撃強度の増加に対するロバストネスをモデル間で比較する。

実験結果

リサーチクエスチョン

• RQ1 同じパラメータ数を有する単一の大規模モデルを敵対的訓練するのと比較して、1つのモデルとして統合的に敵対的訓練されたアンサンブルは、より効果的にロバストネスを向上させるか？
• RQ2 アンサンブルによるロバストネスの向上は、アンサンブルアーキテクチャそのものに起因するのか、それともアンサンブル全体に対する敵対的訓練に起因するのか？
• RQ3 同じ合計パラメータ数を有する個々のモデルを別々に敵対的訓練した場合と比較して、統合的に敵対的訓練されたアンサンブルのロバストネスはどのように異なるか？
• RQ4 より強い攻撃（例：PGDステップ数の増加）に対して、アンサンブルのロバストネスは劣化するか？また、単一モデルベースラインと比較するとどうなるか？
• RQ5 単一モデルのスケーリングではなく、より小さなモデルのアンサンブルを用いることで、ロバストネス対計算コストの効率を向上させられるか？

主な発見

• 1つのモデルとして統合的に敵対的訓練されたアンサンブルは、同じパラメータ数を有する単一の大規模モデルを敵対的訓練するのと比較して、顕著に高いロバストネスを示した。
• Ensemble2AdvモデルはPGD20精度で52%を達成し、SingleAdvベースライン（45%）を7ポイント、DoubleAdvモデル（47%）を5ポイント上回ったが、パラメータ数は同一であった。
• 統合的に敵対的訓練されたアンサンブル（Ensemble2Adv）は、敵対的訓練を受けていないアンサンブル（Ensemble2）と比較して、PGD20で29ポイントも高いロバストネスを示した。
• 敵対的訓練を受けたアンサンブルのロバストネスは訓練全体を通して安定しており、敵対的訓練を受けていないモデルは、長期にわたる訓練で一時的なロバストネスを示した後、その値が低下した。
• アンサンブル内の各モデルを別々に敵対的訓練した（Separate2Adv）場合、単一の敵対的訓練を受けたモデルと同等のロバストネスが得られたため、アンサンブル構造そのものがロバストネスをもたらすわけではないことが示された。
• 500ステップのPGD攻撃に対しても、Ensemble2AdvモデルはSingleAdvベースラインに対して7ポイントの精度優位を維持し、強い攻撃に対しても持続的なロバストネスを示した。