[論文レビュー] You Only Propagate Once: Accelerating Adversarial Training via Maximal Principle

Dinghuai Zhang, Tianyuan Zhang+3 more|ePrints Soton (University of Southampton)|May 2, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 80

ひとこと要約

この論文は敵対的訓練を離散時間微分ゲームとして捉え、Pontryaginの最大原理を導出し、敵対者が最初の層とのみ結合することを示している。これによりYOPOを実現し、敵対者の更新をネットワーク訓練から独立させることで、堅牢性と同程度を保ちつつ大幅な高速化を達成する。

ABSTRACT

Deep learning achieves state-of-the-art results in many tasks in computer vision and natural language processing. However, recent works have shown that deep networks can be vulnerable to adversarial perturbations, which raised a serious robustness issue of deep networks. Adversarial training, typically formulated as a robust optimization problem, is an effective way of improving the robustness of deep networks. A major drawback of existing adversarial training algorithms is the computational overhead of the generation of adversarial examples, typically far greater than that of the network training. This leads to the unbearable overall computational cost of adversarial training. In this paper, we show that adversarial training can be cast as a discrete time differential game. Through analyzing the Pontryagin's Maximal Principle (PMP) of the problem, we observe that the adversary update is only coupled with the parameters of the first layer of the network. This inspires us to restrict most of the forward and back propagation within the first layer of the network during adversary updates. This effectively reduces the total number of full forward and backward propagation to only one for each group of adversary updates. Therefore, we refer to this algorithm YOPO (You Only Propagate Once). Numerical experiments demonstrate that YOPO can achieve comparable defense accuracy with approximately 1/5 ~ 1/4 GPU time of the projected gradient descent (PGD) algorithm. Our codes are available at https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once.

研究の動機と目的

• 計算効率を研究するために、敵対的訓練を離散時間の微分ゲームとして動機付け、定式化する。
• 敵対的訓練問題に対してPontryaginの最大原理（PMP）を導出する。
• 敵対的摂動が最初のニューラルネットワーク層のみに結合することを明らかにする。
• 敵対者の更新を重みの更新から分離することによりYOPO（You Only Propagate Once）を設計する。
• 標準ベンチマークで妥当な堅牢性を保ちつつ著しい経験的高速化を実証する。

提案手法

• ネットワーク層を表すダイナミクスを用いた微分ゲームとして頑健最適化を定式化する。
• 最適性の必要条件を得るためにPMPを導出し、敵対者と最初の層の結合を特定する。
• 内側の敵対者更新中に層ごとの微分を凍結し、最初の層の摂動だけを再計算することでYOPOを導入する。
• 固定スラックpで敵対者をn回更新し、ネットワーク重みをm回の外部ステップで更新するYOPO-m-nを定義する。
• PGDベースの敵対訓練に関連し一般化する勾配ベースのYOPOの具体化を提供する。
• 標準的な防御法とTRADES目的関数にYOPOを適用し、クリーン精度と堅牢性、訓練時間を比較する。）

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を離散時間の微分ゲームとして捉え、敵対者とネットワークパラメータ間の結合構造を分析できるか。
• RQ2 Pontryaginの最大原理は、敵対的摂動が最初の層のみに相互作用し、計算的デカップリングを可能にすることを示すか。
• RQ3 頑健性を犠牲にせず、敵対者の更新と重みの更新をデカップリングするアルゴリズムをどのように設計できるか。
• RQ4 PGDベースの敵対訓練およびTRADESと比較した場合のYOPOの経験的な高速化と堅牢性のトレードオフは何か。

主な発見

• YOPOはPGDベースの訓練と同等の堅牢性を保ちつつ、全前方伝搬と後方伝搬の回数を削減する。
• YOPOはMNIST/CIFAR-10で同等の精度を保ちつつPGD敵対訓練に対して約4〜5倍の速度向上を達成する。
• YOPOとTRADESを組み合わせると、TRADESの所要時間のほぼ半分程度でクリーン精度と堅牢性が向上する。
• 経験的な結果は、YOPO-m-nがmとnを調整することで同等の堅牢性を達成できることを示す。例: YOPO-5-3やYOPO-3-5設定。
• PMPベースの解析は敵対的摂動の結合が最初の層に限定されることを明らかにし、提案されたデカップリング戦略を正当化する。