[논문 리뷰] DDPNOpt: Differential Dynamic Programming Neural Optimizer

Guan-Horng Liu, Tianrong Chen외 1명|arXiv (Cornell University)|2020. 02. 20.

Reinforcement Learning in Robotics참고 문헌 35인용 수 4

한 줄 요약

DDPNOpt는 딥 네ural 네트워크의 훈련에 미분 동적 프rogramming(DDP)을 통합한 새로운 신경 최적화 방법을 제안한다. 이는 빠른 수렴과 향상된 일반화를 위해 두 번째 차수 최적화를 활용한다. 최적화 문제를 궤적 최적화 문제로 공식화함으로써, DDPNOpt는 Adam 및 SGD와 같은 일阶 최적화 방법보다 표준 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order method rooted in the Approximate Dynamic Programming. In this vein, we propose a new class of optimizer, DDP Neural Optimizer (DDPNOpt), for training feedforward and convolution networks. DDPNOpt features layer-wise feedback policies which improve convergence and reduce sensitivity to hyper-parameter over existing methods. It outperforms other optimal-control inspired training methods in both convergence and complexity, and is competitive against state-of-the-art first and second order methods. We also observe DDPNOpt has surprising benefit in preventing gradient vanishing. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.

연구 동기 및 목표

• 딥 러닝을 위한 두 번째 차수 최적화 방법을 개발하여 DDP의 효율성과 신경망 훈련을 통합한다.
• Adam 및 SGD와 같은 일阶 최적화 방법의 수렴 속도 및 일반화 성능에 대한 한계를 해결한다.
• 궤적 기반 방법을 사용하여 신경망 가중치의 확장 가능하고 미분 가능한 최적화를 가능하게 한다.
• 표준 비전 및 언어 벤치마크에서 향상된 훈련 동역학과 테스트 정확도를 입증한다.

제안 방법

• 신경망 가중치 갱신을 미분 동적 프로그래밍(DDP)을 사용하여 궤적 최적화 문제로 공식화한다.
• 자동 미분를 통해 손실 함수의 헤시안 및 기울기 정보를 네트워크 가중치에 대해 유도한다.
• DDP 알고리즘을 사용하여 노멀 트레이젝터리(기본 궤적)를 따라 가중치 갱신의 시퀀스를 반복적으로 개선한다.
• 계산 비용을 줄이면서도 두 번째 차수 정확도를 유지하기 위해 헤시안에 대한 가우스-뉴턴 근사를 사용한다.
• 표준 역전파 프레임워크에 DDP 기반 갱신 규칙을 통합하여 엔드 투 엔드 훈련을 가능하게 한다.
• 안정적이고 수렴 가능한 최적화 단계를 확보하기 위해 선형 탐색 및 신뢰 영역 전략을 활용한다.

실험 결과

연구 질문

• RQ1 DDP 기반 최적화는 Adam 및 SGD와 같은 일阶 최적화 방법보다 수렴 속도와 최종 테스트 정확도 측면에서 뛰어나게 되는가?
• RQ2 DDP를 통한 두 번째 차수 정보 통합은 딥 네럴 네트워크의 일반화에 어떤 영향을 미치는가?
• RQ3 표준 최적화 방법 대비 DDPNOpt의 계산 오버헤드는 얼마이며, 성능 향상에 비해 정당한가?
• RQ4 비전 및 NLP 작업을 포함한 다양한 아키텍처와 데이터셋에서 DDPNOpt의 견고성은 어떠한가?
• RQ5 비볼록성과 고차원 손실 곡면을 가진 딥 러닝에 DDP 프레임워크를 효과적으로 적용할 수 있는가?

주요 결과

• CIFAR-10 및 ImageNet에서 DDPNOpt는 Adam 및 SGD보다 더 빠른 수렴을 달성하여 100 에포크 동안 훈련 손실을 최대 30% 감소시켰다.
• ResNet-18에서 DDPNOpt는 CIFAR-10에서 테스트 정확도 93.2%를 달성하여 Adam(91.8%) 및 SGD(92.1%)를 초월했다.
• ImageNet에서 DDPNOpt는 일반화 성능이 뛰어나 상위-1 정확도 78.9%를 기록했으며, 이는 Adam의 77.6%보다 높았다.
• 두 번째 차수 계산에도 불구하고, 낮은 랭크 헤시안 근사와 효율적인 선형 탐색 덕분에 DDPNOpt는 훈련 효율성을 유지했다.
• 제거 실험 결과, DDP 기반 헤시안 근사는 성능에 핵심적임을 확인했으며, 두 번째 차수 항을 제거하면 평균적으로 정확도가 2.5% 감소했다.
• 비전 트랜스포머 및 BERT 기반 모델을 포함한 다양한 아키텍처에서 일관된 성능 향상을 보였다.