[論文レビュー] Learning with a Strong Adversary

Ruitong Huang, Bing Xu+2 more|arXiv (Cornell University)|Nov 10, 2015

Adversarial Robustness in Machine Learning参考文献 14被引用数 263

ひとこと要約

本稿では、ミニマックス最適化問題として敵対的訓練を定式化することにより、深層ニューラルネットワークのロバスト性を向上させる、『強い敵対的アドバーシャーとの学習』（LWA）と呼ばれる新しい訓練手法を提案する。より効果的な探索手法により、より強い敵対的例を生成することで、MNISTおよびCIFAR-10においてロバスト性を顕著に向上させつつ、標準的な精度を維持し、Goodfellowの手法やLWA_Repといった従来のヒューリスティック手法を上回る性能を発揮する。

ABSTRACT

The robustness of neural networks to intended perturbations has recently attracted significant attention. In this paper, we propose a new method, \emph{learning with a strong adversary}, that learns robust classifiers from supervised data. The proposed method takes finding adversarial examples as an intermediate step. A new and simple way of finding adversarial examples is presented and experimentally shown to be efficient. Experimental results demonstrate that resulting learning method greatly improves the robustness of the classification models produced.

研究の動機と目的

• 深層学習で現在ヒューリスティックに用いられている敵対的訓練手法に対して、形式的根拠が欠けているという問題に取り組む。
• 分類器のロバスト性を高めるより効果的な敵対的例の生成法を開発する。
• ロバストモデルを内生的に生成するミニマックス定式化を提案する敵対的訓練の枠組みを構築する。ヒューリスティックな正則化に依存しない。
• 特にMNISTやCIFAR-10といった標準ベンチマークにおいて、より強い摂動下での深層ネットワークのロバスト性と精度のトレードオフを評価する。

提案手法

• 敵対的訓練をミニマックス最適化問題として定式化する：モデルは分類誤差を最小化するが、敵対的アドバーシャーは入力を有界ノルム内で摂動させることで誤差を最大化する。
• Goodfellowら（2014）の線形近似に比べ、双対ノルムに基づく最適化問題を解くことで、より強い敵対的例を効率的に探索する新しいアルゴリズムを提案する。
• 本手法は一般性を持ち、特定のアーキテクチャやノルムに限定されない。さまざまな損失関数や摂動タイプに適用可能である。
• 本手法は、生データおよび表現層の摂動を用いた、より強い探索手順で生成された敵対的例に対してロバストであるようにネットワークを訓練することで実装される。
• LeNetおよびVGG風のネットワークを用いてフレームワークを評価し、ドロップアウトおよびバッチ正則化の影響に関するアブレーションスタディを実施した。
• 正規訓練、ドロップアウト、Goodfellowの手法、LWA_Repといったベースライン手法と比較し、ℓ₂ノルム摂動が増加する条件下でのロバスト性を測定した。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック手法よりも、形式的なミニマックス定式化に基づく敵対的訓練が、よりロバストな深層ニューラルネットワークを実現できるか？
• RQ2 提案手法による敵対的例の生成法は、Goodfellowの線形近似法と比較して、強度に優れているか？
• RQ3 より強い敵対的例で訓練することで、標準精度を損なうことなくより高いロバスト性が得られるか？
• RQ4 畳み込み層を含むより深いモデルを含む、さまざまなネットワークアーキテクチャにおいて、ロバスト性の向上が一貫して得られるか？
• RQ5 敵対的訓練における生入力層の摂動と表現層の摂動の影響は何か？

主な発見

• MNISTでは、LWAはℓ₂ノルム1.5の敵対的例に対して96.32%の精度を達成し、Goodfellowの手法（90.35%）およびLWA_Rep（50.14%）を大きく上回った。
• より複雑なLeNetアーキテクチャにおいても、LWAは高い標準精度（99.34%）を維持しながら、ℓ₂摂動1.5の下で96.27%のロバスト精度を達成した。
• CIFAR-10では、バッチ正則化を用いたLWAが、ℓ₂摂動0.5の下で78.5%のロバスト精度を達成し、Goodfellowの手法（75.4%）およびLWA_Rep（57.4%）を上回った。
• 本手法は、MNISTおよびCIFAR-10の両方で一貫したロバスト性の向上を示し、テストされた設定では精度-ロバスト性トレードオフが観察されなかった。
• 表現層の摂動（LWA_Rep）は、深層部で摂動が増幅されるため、性能が著しく低下した。これにより、この手法の限界が示された。
• 敵対的例を探索するための提案手法は、実験的に従来手法を上回る強度を持ち、より深刻な摂動に対してもロバストな分類器の学習を可能にした。