[논문 리뷰] An Optimal Control Approach to Deep Learning and Applications to Discrete-Weight Neural Networks

Qianxiao Li, Shuji Hao|arXiv (Cornell University)|2018. 03. 04.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 39

한 줄 요약

이 논문은 페트리아노의 최대원리( Pontryagin’s maximum principle )를 사용하여 딥러닝을 이산시간 최적제어 문제로 재구성하고, 신경망 학습을 위한 기울기 없는 방법인 순차적 근사법(MSA)을 도입한다. 이는 매우 희소한 삼진수 가중치를 달성하여 저메모리 장치에서의 효율적 구현을 가능하게 한다.

ABSTRACT

Deep learning is formulated as a discrete-time optimal control problem. This allows one to characterize necessary conditions for optimality and develop training algorithms that do not rely on gradients with respect to the trainable parameters. In particular, we introduce the discrete-time method of successive approximations (MSA), which is based on the Pontryagin's maximum principle, for training neural networks. A rigorous error estimate for the discrete MSA is obtained, which sheds light on its dynamics and the means to stabilize the algorithm. The developed methods are applied to train, in a rather principled way, neural networks with weights that are constrained to take values in a discrete set. We obtain competitive performance and interestingly, very sparse weights in the case of ternary networks, which may be useful in model deployment in low-memory devices.

연구 동기 및 목표

• 딥러닝 학습을 기울기 없는 최적화를 가능하게 하기 위해 이산시간 최적제어 문제로 재정의한다.
• 페트리아노의 최대원리에 기반한 안정적이고 수렴 보장이 되는 순차적 근사법(MSA)을 개발하여 신경망 학습에 활용한다.
• 이를 통해 이산가중치를 가진 신경망, 특히 이진 및 삼진수 네트워크를 효율적인 추론을 위해 학습시킨다.
• 엄밀한 오차 추정을 통해 MSA 알고리즘의 동역학과 안정성을 분석한다.
• 자원 제약이 있는 장치에 적합한 희소적이면서 높은 성능을 보이는 모델을 생성함을 보여준다.

제안 방법

• 딥 퍼셉트론 신경망의 학습을 계층별 변환으로 제어되는 상태 역학을 갖는 이산시간 최적제어 문제로 공식화한다.
• 이산시간 페트리아노의 최대원리(PMP)를 적용하여 제어 변수(가중치)에 대한 필수 최적성 조건을 유도한다.
• PMP에 기반한 순차적 근사법(MSA)을 도입하며, 해밀토니안 기반 업데이트 규칙을 반복적으로 적용하여 가중치를 갱신한다.
• MSA의 안정성과 진동 방지를 위해 감소하는 파rameter $\rho_{k,t}$ 를 포함한 정규화 항을 도입한다.
• 기울기 추정을 위해 지수이동평균을 사용하고, 고정된 가중치 집합을 가진 이진 및 삼진수 네트워크에 알고리즘을 적용한다.
• 이산 가중치를 위한 사인 기반 업데이트 규칙을 사용하며, 삼진수 네트워크의 경우 희소성 촉진 항 $\lambda_t$ 를 포함한다.

실험 결과

연구 질문

• RQ1 딥러닝은 기울기 없는 학습을 가능하게 하기 위해 효과적으로 이산시간 최적제어 문제로 재구성할 수 있는가?
• RQ2 페트리아노의 최대원리에 기반한 순차적 근사법(MSA)은 딥 뉴럴 네트워크에 대해 안정화되고 수렴 보장이 되도록 어떻게 설계할 수 있는가?
• RQ3 정규화 파rameter $\rho_{k,t}$ 는 MSA 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 높은 가중치 희소성과 함께 경쟁력 있는 정확도를 달성하면서도 이진 및 삼진수 신경망을 학습시킬 수 있는가?
• RQ5 ReLU 및 부드럽게 처리된 허프 손실과 같은 비연속적 활성화 함수와 손실 함수에 대해서도 알고리즘이 어떻게 작동하는가?

주요 결과

• 제안된 MSA 알고리즘은 MNIST, CIFAR-10, SVHN 데이터셋에서 이진 및 삼진수 네트워크 학습 시 경쟁력 있는 테스트 정확도를 달성한다.
• 삼진수 네트워크의 경우, 많은 비율의 가중치가 0으로 설정된 매우 희소한 모델을 생성하여 저메모리 환경에 적합한 특성을 보인다.
• 알고리즘은 ReLU 및 제곱형 부드러운 허프 손실과 같은 비연속적 손실 함수와 활성화 함수에 적용되어도 안정적이고 수렴성이 유지된다.
• 감소하는 정규화 파rameter $\rho_{k,t}$ 의 포함은 MSA의 안정성 확보와 가중치 갱신 시 진동 방지에 필수적이다.
• 배치 정규화는 양호한 성능을 달성하는 데 필수적임을 확인하였으며, 이는 이전 연구와 일치하며 이론적 분석에 의해 뒷받침된다.
• 알고리즘은 백프로파게이션 또는 네트워크 가중치에 대한 기울기 계산이 필요 없어, 미분 가능한 파rameter 없이 학습이 가능하다.