[논문 리뷰] Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees

Jacob H. Seidman, Mahyar Fazlyab외 2명|arXiv (Cornell University)|2020. 05. 01.

Advanced Control Systems Optimization인용 수 12

한 줄 요약

이 논문은 깊이 신경망을 이산 시간 동적 시스템으로 모델링하여 유한 시간 영역 최적 제어 문제로 강력한 딥 러닝을 공식화함으로써, 본드리아니 최대 원리에 영감을 받은 계산적으로 효율적인 적대적 훈련 알고리즘을 제안한다. 이는 이 방법에 대한 첫 번째 수렴 분석을 제공하며, 부정확한 오라클 조건 하에서 수렴을 증명하고 과도한 적대적 업데이트가 성능을 떨어뜨릴 수 있음을 드러낸다.

ABSTRACT

The fragility of deep neural networks to adversarially-chosen inputs has motivated the need to revisit deep learning algorithms. Including adversarial examples during training is a popular defense mechanism against adversarial attacks. This mechanism can be formulated as a min-max optimization problem, where the adversary seeks to maximize the loss function using an iterative first-order algorithm while the learner attempts to minimize it. However, finding adversarial examples in this way causes excessive computational overhead during training. By interpreting the min-max problem as an optimal control problem, it has recently been shown that one can exploit the compositional structure of neural networks in the optimization problem to improve the training time significantly. In this paper, we provide the first convergence analysis of this adversarial training algorithm by combining techniques from robust optimal control and inexact oracle methods in optimization. Our analysis sheds light on how the hyperparameters of the algorithm affect the its stability and convergence. We support our insights with experiments on a robust classification problem.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 적대적 훈련의 높은 계산 비용 문제를 해결하기 위해, 최소-최대 최적화 문제를 최적 제어 문제로 재구성하는 것.
• 장 등(2019)에서 제안한 최적 제어 기반 적대적 훈련 알고리즘에 대한 첫 이론적 수렴 보장을 제공하는 것.
• 알고리즘 초모수가 강력한 훈련의 안정성과 수렴에 미치는 영향을 분석하는 것.
• 적대적 업데이트 단계와 모델 성능 간의 상충 관계에 대한 이론적 통찰을 제공하는 것.

제안 방법

• 층 수 $T$인 신경망을 각 층의 함수 $f_t(x_t, \theta_t)$로 정의된 상태 전이를 갖는 이산 시간 동적 시스템으로 모델링한다.
• 상태 제약 조건과 손실 및 정규화 항을 포함한 비용 함수를 갖는 유한 시간 영역 최적 제어 문제로 강력한 훈련 문제를 재구성한다.
• 필수 최적 조건을 도출하기 위해 본드리아니 최대 원리(Pontryagin Maximum Principle, PMP)를 적용하여, 비용 상태 동역학을 통해 적대적 편향을 계산하는 알고리즘을 도출한다.
• 적대자의 업데이트를 진정한 기울기의 부정확한 오라클로 간주하여, 최적화에서의 부정확한 오라클 방법을 사용한 수렴 분석을 가능하게 한다.
• 비용 상태 과정을 사용하여 적대자가 계산한 업데이트와 진정한 기울기 사이의 오차를 유계화함으로써 수렴 보장을 가능하게 한다.
• 유도된 오차 유계를 사용하여 표준 가정(예: 미분 가능성, 강한 볼록성) 하에서 전체 적대적 훈련 알고리즘의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 적대적 훈련의 최적 제어 공식화가 훈련 알고리즘의 수렴 행동에 미치는 영향은 무엇인가?
• RQ2 적대자 업데이트 수가 모델의 수렴성과 일반화 성능에 미치는 영향은 무엇인가?
• RQ3 근사된 적대적 업데이트로 인한 오차는 어떻게 유계화하고 제어할 수 있으며, 이는 이론적 수렴 보장을 가능하게 하는가?
• RQ4 핵심 초모수(예: 적대자 단계 수, 학습률)가 강력한 훈련 과정의 안정성과 수렴에 미치는 영향은 무엇인가?

주요 결과

• 제안된 최적 제어 기반 알고리즘은 부정확한 오라클 조건 하에서도 수렴을 달성하며, 이 클래스의 강력한 훈련 방법에 대한 첫 이론적 수렴 보장을 제공한다.
• 분석 결과, 부정확한 기울기 근사에서 오차 누적이 발생하므로, 적대자 업데이트 수를 일정 수준 이상으로 늘일 경우 모델 성능이 떨어질 수 있음을 드러냈다.
• 비용 상태 과정을 사용하여 적대자가 계산한 업데이트와 진정한 기울기 사이의 오차를 유계화하였으며, 이는 부정확한 오라클 수렴 이론의 적용을 가능하게 하였다.
• 수렴 속도는 손실 함수의 미분 가능성 및 강한 볼록성 상수, 그리고 편향 집합의 직경과 같은 알고리즘 매개변수에 명시적으로 의존한다.
• 실험 결과는 학습자 업데이트 당 최적의 적대자 단계 수가 존재하며, 이를 초과하면 성능이 정점에 도달하거나 감소하는 것으로 확인되었다.