[논문 리뷰] Deep Frank-Wolfe For Neural Network Optimization

Leonard Berrada, Andrew Zisserman외 1명|arXiv (Cornell University)|2018. 11. 19.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 16

한 줄 요약

이 논문은 딥 네ural 네트워크를 위한 새로운 최적화 알고리즘인 딥 프랭크-울프(DFW)를 제안한다. 이 알고리즘은 신경망의 복합적 구조를 활용하여 폐쇄형 최적 단계 크기를 갖는 프랭크-울프 방법을 적용함으로써, 수작업으로 설계된 학습률 스케줄을 사용하는 SGD와 비슷한 일반화 성능를 달성하면서도 더 빠르게 수렴하고 단 하나의 하이퍼파rameter만 필요로 한다.

ABSTRACT

Learning a deep neural network requires solving a challenging optimization problem: it is a high-dimensional, non-convex and non-smooth minimization problem with a large number of terms. The current practice in neural network optimization is to rely on the stochastic gradient descent (SGD) algorithm or its adaptive variants. However, SGD requires a hand-designed schedule for the learning rate. In addition, its adaptive variants tend to produce solutions that generalize less well on unseen data than SGD with a hand-designed schedule. We present an optimization method that offers empirically the best of both worlds: our algorithm yields good generalization performance while requiring only one hyper-parameter. Our approach is based on a composite proximal framework, which exploits the compositional nature of deep neural networks and can leverage powerful convex optimization algorithms by design. Specifically, we employ the Frank-Wolfe (FW) algorithm for SVM, which computes an optimal step-size in closed-form at each time-step. We further show that the descent direction is given by a simple backward pass in the network, yielding the same computational cost per iteration as SGD. We present experiments on the CIFAR and SNLI data sets, where we demonstrate the significant superiority of our method over Adam, Adagrad, as well as the recently proposed BPGrad and AMSGrad. Furthermore, we compare our algorithm to SGD with a hand-designed learning rate schedule, and show that it provides similar generalization while converging faster. The code is publicly available at https://github.com/oval-group/dfw.

연구 동기 및 목표

• 딥 네럴 네트워크에서 SGD의 수작업으로 설계된 학습률 스케줄이 필요한 문제에 대응한다.
• 적응형 방법(예: 아담)과 수작업 스케줄을 사용하는 SGD 사이의 일반화 갭을 극복한다.
• 계산 효율성을 SGD 수준으로 유지하면서 수렴 속도와 일반화 성능를 향상시키는 방법을 개발한다.
• 딥 네트워크의 복합적 성질을 활용하여 프랭크-울프를 통한 효율적인 볼록 최적화를 가능하게 한다.
• SVM 기반 목표 함수를 위한 안정화를 위해 스무딩 기법과 네스테로프 모멘터리를 도입한다.

제안 방법

• 신경망을 내부 함수로, 손실을 외부 함수로 하는 복합(중첩된) 최적화 문제로 딥 러닝 최적화 문제를 재구성한다.
• 각 반복 단계에서 내부 함수(신경망)를 선형화하여 프록시멀 보조 문제를 구성하면서도 외부 손실 함수는 정확하게 유지한다.
• 손실 함수가 허프 러스트일 경우, 각 보조 문제는 선형 SVM가 되며, 이에 따라 프랭크-울프 알고리즘을 적용할 수 있다.
• 프랭크-울프의 이중 형식을 사용해 폐쇄형으로 최적 단계 크기를 계산함으로써 학습률 스케줄이 필요 없도록 한다.
• 딥 네트워크 학습에서 수치적 불안정성을 완화하기 위해 SVM 이중 문제에 대한 스무딩 기법을 도입한다.
• DFW 프레임워크에 네스테로프 모멘터리를 통합하여 계산 비용을 증가시키지 않으면서도 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크를 위한 1차 최적화 방법이 수작업으로 설계된 학습률 스케줄을 사용하는 SGD와 동등한 일반화 성능를 달성할 수 있는가?
• RQ2 신경망의 복합적 구조를 활용해 프랭크-울프 알고리즘을 딥 러닝에 적응시킬 수 있는가?
• RQ3 프랭크-울프를 통해 폐쇄형으로 최적 단계 크기를 계산하면 더 빠른 수렴과 하이퍼파rameter 민감도 감소를 이룰 수 있는가?
• RQ4 스무딩 기법을 통해 딥 네트워크 내의 SVM 이중 최적화를 안정화시킬 수 있는가?
• RQ5 네스테로프 모멘터리를 통합하면 일반화 성능를 훼손시키지 않으면서도 수렴 속도를 향상시킬 수 있는가?

주요 결과

• DFW는 CIFAR-10과 CIFAR-100에서 수작업으로 설계된 학습률 스케줄을 사용하는 SGD와 유사한 테스트 정확도를 달성했으며, 넓은 잔차 네트워크와 밀집 연결 네트워크에서 최신 기술 수준의 성능를 기록했다.
• Bi-LSTM 기반의 SNLI 데이터셋에서 DFW는 검증 정확도 85.21%를 기록했으며, 아담(84.83%), AMSGrad(84.70%), BPGrad(84.73%)를 모두 앞서며 교차 검증 조건에서 승리했다.
• 모든 CIFAR 실험에서 DFW는 아담, 아다그라드, AMSGrad보다 유의미하게 더 빠르게 수렴했으며, 수렴 곡선은 더 빠르고 안정적인 향상을 보였다.
• 이 알고리즘은 단 하나의 하이퍼파ram터(초기 학습률)만 필요했고, 민감도 분석 결과 넓은 값 범위에서 안정적인 성능를 유지했다.
• SVM 이중 문제의 스무딩이 학습 안정성과 일반화 성능를 향상시켰으며, 특히 더 깊은 아키텍처에서 두드러진 효과를 보였다.
• 네스테로프 모멘터리는 일반화 성능를 떨어뜨리지 않으면서도 수렴 속도를 가속화했고, 반복당 계산 비용은 SGD와 동일하게 유지되었다.