[논문 리뷰] Maximum Principle Based Algorithms for Deep Learning

Qianxiao Li, Long Chen외 2명|arXiv (Cornell University)|2017. 10. 26.

Model Reduction and Neural Networks인용 수 82

한 줄 요약

이 논문은 심층 학습을 연속 시간 최적 제어 문제로 해석하고 Pontryagin의 최대 원리(PMP) 기반 학습 알고리즘을 도출하며, 특히 연속 근사법(MSA) 및 수렴 보장과 조기 수렴, 계층 분리 최적화, 평탄한 지형에 대한 잠재적 강건성 등을 제공하는 확장된 PMP/MSA를 제시한다.

ABSTRACT

The continuous dynamical system approach to deep learning is explored in order to devise alternative frameworks for training algorithms. Training is recast as a control problem and this allows us to formulate necessary optimality conditions in continuous time using the Pontryagin's maximum principle (PMP). A modification of the method of successive approximations is then used to solve the PMP, giving rise to an alternative training algorithm for deep learning. This approach has the advantage that rigorous error estimates and convergence results can be established. We also show that it may avoid some pitfalls of gradient-based methods, such as slow convergence on flat landscapes near saddle points. Furthermore, we demonstrate that it obtains favorable initial convergence rate per-iteration, provided Hamiltonian maximization can be efficiently carried out - a step which is still in need of improvement. Overall, the approach opens up new avenues to attack problems associated with deep learning, such as trapping in slow manifolds and inapplicability of gradient-based methods for discrete trainable variables.

연구 동기 및 목표

• 딥 러닝을 연속 시간 최적 제어 문제로 동기 부여하고 형식화한다.
• 최적 학습을 위한 Pontryagin의 최대 원리(PMP) 조건을 도출한다.
• PMP를 풀기 위한 수치 스킴(MSA)을 개발하고 오차/수렴 분석을 제공한다.
• 수렴을 개선하고 다이나믹스의 타당성(feasibility)을 다루기 위한 확장된 PMP/MSA를 도입한다.
• 프레임워크를 딥 잔차 네트워크와 연결하고 이산화 및 미니 배치 고려사항을 논의한다.

제안 방법

• 손실 Φ(XT) + ∫0T L(θt) dt를 포함하는 동적 시스템 Ẋt = f(t, Xt, θt)을 정의한다.
• 해밀토니안 H(t, x, p, θ) = p·f(t, x, θ) − L(θ) 를 도입하고 PMP 조건(3)-(5)을 제시한다.
• 기본 MSA를 제안한다: X를 교대로 전파하고 P를 풀이한 다음 각 t에서 해밀토니안 최대화에 의해 θ를 업데이트한다.
• 해밀토니안 동역학의 타당성 오차를 벌점하기 위해 보강된 해밀토니안 ṼH를 사용하는 확장된 PMP로 수정하고, 수렴 보장을 갖는 Extended MSA(E-MSA)를 도출한다.
• 잔차 네트워크 및 역전파와의 관계를 보이는 이산 시간 형식들을 제공한다.
• 미니 배치 확장 및 해밀토니안 최대화의 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 PMP가 딥 러닝의 그래디언트 기반 학습에 대한 실행 가능하고 수렴하는 대안을 제공할 수 있는가?
• RQ2 확장된 PMP/MSA가 해밀토니안 동역학의 타당성 오차를 벌점함으로써 수렴을 보장하는가?
• RQ3 수렴 속도 및 사다점(saddle points)에 대한 민감도 측면에서 PMP 기반 학습은 SGD/Adam과 어떻게 비교되는가?
• RQ4 PMP 프레임워크를 이산화하고 잔차 네트워크 및 역전파와 어떻게 연결할 수 있는가?
• RQ5 미니 배치 학습의 실용적 고려사항 및 해밀토니안 최대화의 효율성에 대한 고려사항은 무엇인가?

주요 결과

• PMP 기반 학습은 계층별로 분리된 해밀토니안 최대화를 수반하는 전방-후방 해밀토니안 다이나믹스를 제공하여 잠재적 병렬화가 가능하다.
• 기본 MSA는 수렴하지 않을 수 있다; 보강 해밀토니안이 있는 확장 MSA는 충분히 큰 ρ일 때 확장 PMP로의 수렴 보장을 제공한다.
• 확장된 프레임워크는 타당성 항과 목적함수 J(θ)의 감소를 통해 명시적 오차 제어를 제공한다.
• 수치 실험은 해밀토니안 최대화가 효율적일 때 E-MSA가 이터레이션당 초기 수렴 속도가 좋은 것을 보이고, 평탄한 지형이나 사다점 근처에서 느린 수렴을 완화할 수 있다.
• 이산 시간 형식은 전통적인 잔차 네트워크 학습 구조를 복원하고, 최대화 단계를 완화시키는 것이 그래디언트 기반 역전파와 연계된다.
• 미니 배치 확장이 논의되고, 적절한 조건하에서 표준 LLN 주장에 의해 수렴 휴리스틱이 뒷받침된다.