[논문 리뷰] Differential Dynamic Programming Neural Optimizer.

Guan-Horng Liu, Tianrong Chen외 1명|arXiv (Cornell University)|2020. 02. 20.

Reinforcement Learning in Robotics참고 문헌 33인용 수 5

한 줄 요약

이 논문은 두 번째 차수 최적 제어 이론을 사용하여 딥 네ural 네트워크 학습을 궤적 최적화 문제로 재구성하는 새로운 신경 최적화기인 미분 동적 프로그래밍 신경 최적화기(Differential Dynamic Programming Neural Optimizer, DDP-NO)를 제안한다. 배치 처리와 계층별 피드백 정책을 통한 곡률 근사와 통합함으로써, 더 빠른 수렴 속도와 하이퍼파rameter 민감도 감소를 달성하며, 최신의 일阶 및 이阶 방법들을 능가한다.

ABSTRACT

Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order trajectory optimization algorithm rooted in the Approximate Dynamic Programming. In this vein, we propose a new variant of DDP that can accept batch optimization for training feedforward networks, while integrating naturally with the recent progress in curvature approximation. The resulting algorithm features layer-wise feedback policies which improve convergence rate and reduce sensitivity to hyper-parameter over existing methods. We show that the algorithm is competitive against state-ofthe-art first and second order methods. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.

연구 동기 및 목표

• 딥 러닝 최적화를 최적 제어 이론과 연결하기 위해 DNN 학습을 궤적 최적화 문제로 해석한다.
• 전방향 신경망의 배치 학습을 지원하도록 미분 동적 프로그래밍(DDP) 알고리즘을 확장한다.
• 계층별 피드백 정책을 통해 수렴 속도를 향상시키고 하이퍼파rameter 민감도를 감소시킨다.
• 헤시안 근사의 최근 발전을 통합하여 향상된 이阶 최적화 성능을 달성한다.
• 최신 기법들과 경쟁 가능한 원리적이고 이론적으로 탄탄한 최적화기를 개발한다.

제안 방법

• 최적 제어 이론을 사용하여 DNN 학습을 비선형 동역학 시스템 최적화 문제로 재구성한다.
• 미분 동적 프로그래밍(DDP) 알고리즘을 전방향 네트워크의 미니배치 업데이트를 처리할 수 있도록 적응시킨다.
• 손실 표면의 두 번째 차수 근사에서 유도된 계층별 피드백 정책을 도입한다.
• 역전파 과정 중 헤시안 정보를 효율적으로 추정하기 위해 곡률 근사 기법을 활용한다.
• 순차적 목적함수 프로그래밍(SQP) 원리를 사용하여 최적화 궤적을 반복적으로 개선한다.
• 백프로파게이션을 통해 엔드 투 엔드 학습을 가능하게 하면서도, 이阶 수렴 성질을 유지한다.

실험 결과

연구 질문

• RQ1 딥 러닝 학습을 최적 제어 프레임워크 내에서 궤적 최적화 문제로 효과적으로 프레임할 수 있는가?
• RQ2 두 번째 차수 DDP 알고리즘을 어떻게 전방향 네트워크의 미니배치 학습을 지원하도록 적응시킬 수 있는가?
• RQ3 계층별 피드백 정책은 기존 최적화기와 비교해 수렴성과 안정성 향상에 어떤 역할을 하는가?
• RQ4 곡률 근사는 깊은 네트워크에서 DDP 기반 최적화의 성능을 어떻게 향상시키는가?
• RQ5 DDP 기반 최적화기는 최신의 일阶 및 이阶 최적화기와 경쟁하거나 뛰어나게 성능을 낼 수 있는가?

주요 결과

• 제안된 DDP-NO 최적화기는 SGD 및 Adam과 같은 표준 일阶 최적화기보다 더 빠른 수렴 속도를 달성한다.
• 피드백 정책에서 유도된 내재적 적응형 스텝 사이즈 덕분에 학습률을 포함한 하이퍼파rameter 선택에 대한 민감도가 크게 감소한다.
• 곡률 근사 통합으로 인해 과도한 계산 비용 없이도 이阶 최적화 성능 이점을 확보할 수 있다.
• 계층별 피드백 정책은 다양한 네트워크 아키텍처에서 최적화 안정성과 수렴 속도를 크게 향상시킨다.
• 실험 결과는 표준 벤치마크 데이터셋에서 최신의 일阶 및 이阶 최적화기들과 경쟁 가능한 성능을 보였다.