[論文レビュー] You Only Propagate Once: Accelerating Adversarial Training via Maximal Principle

Dinghuai Zhang, Tianyuan Zhang+3 more|arXiv (Cornell University)|May 2, 2019

Adversarial Robustness in Machine Learning被引用数 84

ひとこと要約

本論文は敵対的トレーニングを離散時間微分ゲームとして扱い、Pontryagin Maximum Principle を導出する。これにより敵対的更新が最初のネットワーク層のみに結合することが明らかとなり、YOPO が堅牢性を保ったまま前向き/後向き伝播を大幅に削減できる。

ABSTRACT

Deep learning achieves state-of-the-art results in many tasks in computer vision and natural language processing. However, recent works have shown that deep networks can be vulnerable to adversarial perturbations, which raised a serious robustness issue of deep networks. Adversarial training, typically formulated as a robust optimization problem, is an effective way of improving the robustness of deep networks. A major drawback of existing adversarial training algorithms is the computational overhead of the generation of adversarial examples, typically far greater than that of the network training. This leads to the unbearable overall computational cost of adversarial training. In this paper, we show that adversarial training can be cast as a discrete time differential game. Through analyzing the Pontryagin's Maximal Principle (PMP) of the problem, we observe that the adversary update is only coupled with the parameters of the first layer of the network. This inspires us to restrict most of the forward and back propagation within the first layer of the network during adversary updates. This effectively reduces the total number of full forward and backward propagation to only one for each group of adversary updates. Therefore, we refer to this algorithm YOPO (You Only Propagate Once). Numerical experiments demonstrate that YOPO can achieve comparable defense accuracy with approximately 1/5 ~ 1/4 GPU time of the projected gradient descent (PGD) algorithm. Our codes are available at https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once.

研究の動機と目的

• 敵対的摂動に対する深層ネットワークの頑健性向上を動機づける。
• 敵対的トレーニングを離散時間微分ゲームとして定式化する。
• 本問題に対する Pontryagin Maximum Principle (PMP) を導出する。
• 敵対者の更新を完全なネットワーク訓練から切り離す YOPO アルゴリズムを提案する。
• 頑健性を保ちながら顕著な計算節約を実証する。

提案手法

• ロバスト最適化問題を二人零和微分ゲームとして定式化する。
• ゲームの必要最適性条件 (PMP) を得るため Pontryagin’s Maximum Principle を導出する。
• 敵対的摂動が最初の層の重みとだけ結合することを示す。
• 敵対者更新をネットワーク重み更新から切り離し内部微分を凍結することで YOPO を提案する。
• YOPO(m-n) として実装する。ここで m は敵対者更新ラウンド、n は完全な前方/後方伝播回数。
• MNIST/CIFAR-10 において標準の PGD 敵対的訓練および TRADES と実証的に比較する。

実験結果

リサーチクエスチョン

• RQ1 頑健性を損なうことなく計算コストを削減するように敵対的トレーニングをどう再定式化できるか。
• RQ2 ニューラルネットワークのどの構造特性を利用して敵対者更新を全ネットワーク訓練から切り離せるか。
• RQ3 最適制御の原理は深層学習における頑健性の新しい訓練アルゴリズムを導くことができるか。
• RQ4 標準ベンチマークにおいて、YOPO は防御精度と訓練時間の点で PGD および TRADES と比較してどうであるか。

主な発見

• YOPO は敵対者更新時に前方伝播と逆伝播の大半を最初の層に制限することで総計算量を削減する。
• MNIST/CIFAR-10 で妥当な精度を保ちつつ、PGD 敵対的訓練より約4〜5倍のスピードアップを達成。
• MNIST の YOPO-5-10 は PGD-40 に匹敵する堅牢性精度を、はるかに短時間で達成。
• CIFAR-10 の PreAct-Res18 での YOPO-5-3 は PGD-10 と同等の堅牢性を、1エポックあたりの計算量を約半分で達成。
• YOPO と TRADES の組み合わせは、標準的な TRADES の半分の時間でより高いクリーン精度と堅牢精度を実現。
• PMP解析は敵対者更新が最初の層のみに結合することを示し、分離された最適化を可能にする。