[論文レビュー] Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees

Jacob H. Seidman, Mahyar Fazlyab+2 more|arXiv (Cornell University)|May 1, 2020

Advanced Control Systems Optimization被引用数 12

ひとこと要約

この論文は、深層ニューラルネットワークを離散時間ダイナミカルシステムとしてモデル化することで、ロバストなディープラーニングを有限時間ホライズン最適制御問題として定式化し、ポントラギン最大原理にインspiredされた計算的に効率的な adversarial training アルゴリズムを可能にした。本手法の収束解析を初めて提供し、不正確なオракル条件のもとで収束を証明するとともに、過剰な adversary 更新が性能を低下させることを明らかにした。

ABSTRACT

The fragility of deep neural networks to adversarially-chosen inputs has motivated the need to revisit deep learning algorithms. Including adversarial examples during training is a popular defense mechanism against adversarial attacks. This mechanism can be formulated as a min-max optimization problem, where the adversary seeks to maximize the loss function using an iterative first-order algorithm while the learner attempts to minimize it. However, finding adversarial examples in this way causes excessive computational overhead during training. By interpreting the min-max problem as an optimal control problem, it has recently been shown that one can exploit the compositional structure of neural networks in the optimization problem to improve the training time significantly. In this paper, we provide the first convergence analysis of this adversarial training algorithm by combining techniques from robust optimal control and inexact oracle methods in optimization. Our analysis sheds light on how the hyperparameters of the algorithm affect the its stability and convergence. We support our insights with experiments on a robust classification problem.

研究の動機と目的

• 深層ニューラルネットワークにおける adversarial training の高い計算コストを解消するため、ミニマックス最適化を最適制御問題に再定式化すること。
• Zhang ら (2019) が提唱した最適制御にインspiredされた adversarial training アルゴリズムに対する、最初の理論的収束保証を提供すること。
• アルゴリズムのハイパーパrameterがロバストトレーニングの安定性と収束に与える影響を分析すること。
• adversary 更新ステップとモデル性能の間のトレードオフに関する理論的洞察を提供すること。

提案手法

• 各層関数 $f_t(x_t, \theta_t)$ で定義される状態遷移を持つ $T$ 層のニューラルネットワークを、離散時間ダイナミカルシステムとしてモデル化する。
• 状態制約と損失および正則化項を含むコスト関数を持つ有限時間ホライズン最適制御問題に、ロバストトレーニング問題を再定式化する。
• 最適性の必要条件を導出するためにポントラギン最大原理（PMP）を適用し、コストート動的システムを介して adversarial パーティクルを計算するアルゴリズムを導く。
• adversary の更新を真の勾配に対する不正確なオラクルとして扱い、最適化における不正確なオラクル手法を用いた収束解析を可能にする。
• コストートプロセスを用いて、adversary が計算する更新と真の勾配との間の誤差をバウンディングし、収束保証を可能にする。
• 得られた誤差バウンディングを用いて、標準的な仮定（例：滑らかさ、強い凸性）のもとで、全体の adversarial training アルゴリズムの収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 adversarial training の最適制御定式化は、トレーニングアルゴリズムの収束行動にどのように影響を与えるか？
• RQ2 adversary 更新回数がモデルの収束性および一般化性能に与える影響は何か？
• RQ3 近似的な adversarial 更新によって生じる誤差は、理論的収束保証が得られるように、バウンディングされ、制御可能か？
• RQ4 主なハイパーパrameter（例：adversary ステップ数、学習率）は、ロバストトレーニングプロセスの安定性と収束にどのように影響を与えるか？

主な発見

• 提案された最適制御にインspiredされたアルゴリズムは、不正確なオラクル条件のもとで収束を達成し、このクラスのロバストトレーニング手法に対する最初の理論的収束保証を提供した。
• 解析により、不正確な勾配近似における誤差蓄積のため、ある閾値を超えて adversary 更新回数を増やすとモデル性能が低下することが明らかになった。
• コストートプロセスを用いて、adversary が計算する更新と真の勾配との誤差がバウンディングされ、不正確なオラクル収束理論の適用が可能になった。
• 収束速度は、損失関数の滑らかさおよび強い凸性定数、および摂動集合の直径といったアルゴリズムパラメータに明示的に依存する。
• 実験結果により、学習者による更新ごとに最適な adversary ステップ数が存在し、それ以上に増やすと性能が頭打ちまたは低下することが確認された。