[논문 리뷰] Learning to Optimize Neural Nets

Ke Li, Jitendra Malik|arXiv (Cornell University)|2017. 03. 01.

Machine Learning and Algorithms참고 문헌 29인용 수 84

한 줄 요약

이 논문은 안내된 정책 탐색을 통해 고차원적이고 확률적 최적화를 학습하는 프레임워크를 확장하고, hand-engineered 알고리즘보다 성능이 우수하고 데이터셋과 아키텍처 전반에 걸쳐 일반화되는 학습된 옵티마이저를 시연합니다.

ABSTRACT

Learning to Optimize is a recently proposed framework for learning optimization algorithms using reinforcement learning. In this paper, we explore learning an optimization algorithm for training shallow neural nets. Such high-dimensional stochastic optimization problems present interesting challenges for existing reinforcement learning algorithms. We develop an extension that is suited to learning optimization algorithms in this setting and demonstrate that the learned optimization algorithm consistently outperforms other known optimization algorithms even on unseen tasks and is robust to changes in stochasticity of gradients and the neural net architecture. More specifically, we show that an optimization algorithm trained with the proposed method on the problem of training a neural net on MNIST generalizes to the problems of training neural nets on the Toronto Faces Dataset, CIFAR-10 and CIFAR-100.

연구 동기 및 목표

• 신경망 훈련을 위한 데이터 기반 도구로서의 학습 최적화 알고리즘의 동기를 제시합니다.
• 고차원 확률적 문제에 적합한 Learning to Optimize의 확장을 개발합니다.
• 학습된 옵티마이저가 보이는 미지의 아키텍처와 데이터셋에 일반화되면서도 그래디언트 확률적성에 대해 견고한지 보여줍니다.

제안 방법

• 업데이트 규칙을 정책으로 보는 강화 학습 문제로 최적화를 형식화합니다.
• 가이드된 정책 탐색(GPS)을 사용하여 시간에 따라 변하는 선형 정책과 RNN으로 표현된 비선형 정상 정책을 학습합니다. 다이나믹의 지역 선형화와 비용의 이차 근사를 도입하여 LQG 레귤레이터로 부분 문제를 해결합니다.
• 신경망 구조를 활용하고 고차원에서의 확장 가능한 학습을 가능하게 하기 위해 순서를 고려한 치환 불변성(좌표 그룹)을 부과합니다.
• 상태 특징을 iterates의 이력, gradients,objective에 집중하여 정의합니다; 학습 및 테스트를 위한 관찰 특징을 정의합니다.
• 블록 대각화, 좌표별 분해를 통한 합성 GPS를 적용하여 신경망 최적화에 학습 확장을 적용합니다.

실험 결과

연구 질문

• RQ1 얕은 신경망에서 학습된 최적화 알고리즘이 더 깊은 아키텍처 및 서로 다른 데이터셋에 일반화할 수 있는가?
• RQ2 학습된 옵티마이저가 그래디언트 확률적성 변화 및 네트워크 아키텍처 변화에 견고한가?
• RQ3 학습된 옵티마이저가 보지 못한 태스크에서 인기 있는 hand-engineered 옵티마이저(SGD, 모멘텀, Adagrad, RMSProp, Adam)보다 우수한가?
• RQ4 구조적 사전지식(좌표별 그룹)이 고차원 최적화의 학습 효율성을 얼마나 향상시키는가?
• RQ5 매우 다른 통계 특성을 가진 데이터셋(MNIST vs. CIFAR/TFD) 간에 학습된 옵티마이저의 전달력은 어느 정도인가?

주요 결과

• 학습된 옵티마이저는 MNIST 파생, TFD, CIFAR-10, CIFAR-100 과제에서 손으로 설계된 방법보다 더 빠르게 최적점으로 수렴하는 경향을 지속적으로 보인다.
• 예상된 스텝 하강은 입력과 은닉층이 더 큰 뉴럴넷(매개변수 약 8배 증가)에서도 일반화되며 초기 진동에도 불구하고 경쟁력 있거나 우수함을 유지한다.
• 학습된 옵티마이저는 배치 크기가 줄어들어(그래디언트 확률적성 증가)도 여러 데이터셋에서 여전히 다른 대안들보다 우수한 성능을 보인다.
• MNIST에서 메타-학습된 옵티마이저가 비유사한 데이터셋에서도 더 우수한 성능을 보일 수 있어 학습 최적화 전략의 전달 가능성을 시사한다.
• L2L 기반 학습된 옵티마이저와 비교할 때, 제안된 방법은 보지 못한 태스크와 아키텍처에서 더 높은 일관성과 안정성을 보인다.