[논문 리뷰] Learning by Turning: Neural Architecture Aware Optimisation

Yang Liu, Jeremy Bernstein외 2명|arXiv (Cornell University)|2021. 02. 14.

Neural Networks and Applications참고 문헌 45인용 수 5

한 줄 요약

이 논문은 학습률을 회전 각도로 사용하여 각 뉴런의 초평면을 회전시켜 균형 잡힌 네트워크에서 각 뉴런별로 투영된 경사 하강법을 수행하는 새로운 신경망 최적화기 Nero를 소개한다. Nero는 최소한의 하이퍼파라미터 튜닝으로 다양한 딥러닝 작업에서 최신 기술 성능을 달성하며, 어려운 설정에서 Adam과 SGD를 능가한다. 또한 Adam이나 LAMB보다 약 √1/2의 메모리만을 사용한다.

ABSTRACT

Descent methods for deep networks are notoriously capricious: they require careful tuning of step size, momentum and weight decay, and which method will work best on a new benchmark is a priori unclear. To address this problem, this paper conducts a combined study of neural architecture and optimisation, leading to a new optimiser called Nero: the neuronal rotator. Nero trains reliably without momentum or weight decay, works in situations where Adam and SGD fail, and requires little to no learning rate tuning. Also, Nero's memory footprint is ~ square root that of Adam or LAMB. Nero combines two ideas: (1) projected gradient descent over the space of balanced networks; (2) neuron-specific updates, where the step size sets the angle through which each neuron's hyperplane turns. The paper concludes by discussing how this geometric connection between architecture and optimisation may impact theories of generalisation in deep learning.

연구 동기 및 목표

• 기본적인 딥러닝 최적화기인 Adam과 SGD의 취약성과 하이퍼파라미터 민감성 문제를 해결한다.
• 신경망 아키텍처 설계와 최적화 동역학 간의 결합을 탐구하여 히ュ리스틱 튜닝에 대한 의존도를 줄인다.
• 균형 잡힌 신경망의 기하학적 구조에 자연스럽게 작용하는 최적화기를 개발한다.
• 아키텍처 제약 조건이 오버파라미터라이제이션된 딥 네트워크에서 일반화와 학습 안정성에 어떻게 영향을 미치는지 탐색한다.
• 모멘텀이나 가중치 감쇠 없이도 메모리 오버헤드를 줄이고 훈련의 신뢰성을 향상시킨다.

제안 방법

• 균형 잡힌 네트워크에서 각 뉴런의 가중치가 단위 구면 위에 위치하므로, 최적화 도메인을 초구면의 카티esian 곱으로 수학적으로 정의한다.
• 이 제약 조건이 있는 다양체 위에서 투영된 경사 하강법을 구현하여 훈련 전반에 걸쳐 가중치 균형을 유지한다.
• 학습률이 각 뉴런의 초평면의 각도를 조절하는 뉴런별로 고유한 업데이트를 도입한다.
• 가중치 업데이트를 초구면 공간에서의 회전으로 기하학적으로 해석함으로써, 모멘텀이나 가중치 감쇠가 필요 없도록 한다.
• Adam이나 LAMB 대비 √(d) 비례하는 메모리 효율적인 업데이트 규칙을 적용하여 메모리 사용량을 줄인다.
• 신경망 아키텍처의 내재된 대칭성과 구조를 활용해 최적화를 이끌고 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크 가중치 최적화에 가장 적합한 도메인은 무엇이며, 가중치 균형과 같은 아키텍처 제약 조건과의 관계는 어떠한가?
• RQ2 최적화는 어떤 정도의 해상도—각 시냅스, 각 레이어, 또는 각 뉴런 수준에서 수행되어야 훈련 안정성을 향상시킬 수 있는가?
• RQ3 초구면 다양체에서의 기하학적 통찰이 더 강건하고 하이퍼파라미터 민감도가 낮은 최적화기를 만들어낼 수 있는가?
• RQ4 아키텍처와 최적화 간의 상호작용이 오버파라미터라이제이션된 딥 네트워크에서 일반화에 어떻게 영향을 미치는가?
• RQ5 아키텍처의 구조와 일치시키면 정규화가 더 해석 가능하고 효과적으로 작용할 수 있는가?

주요 결과

• Nero는 학습률 튜닝 없이도 이미지 분류, 이미지 생성, NLP, 강화학습 전반에서 뛰어난 초기 성능을 보였다.
• 100층 MLP와 WMT16 En–De 트랜스포머를 제외한 모든 실험에서 Nero는 기본 하이퍼파라미터로 성공적으로 훈련되었으며, 튜닝된 베이스라인을 능가했다.
• Nero의 메모리 사용량은 Adam이나 LAMB의 약 √1/2 수준이며, 메모리 오버헤드를 크게 줄였다.
• Nero는 모멘텀과 가중치 감쇠가 필요 없으며, 기하학적 투영과 각도 업데이트에 의존한다.
• 이론적 분석 결과 일반화 오차는 파라미터 수, 데이터 크기, 그리고 다양한 강건한 해의 수의 로그에 의해 유계가 되며, 이는 오버파라미터라이제이션된 환경에서의 일반화 향상을 시사한다.
• 가중치 감쇠보다도 이득 파라미터를 1에 가깝게 정규화하는 것이 더 효과적이고 해석 가능했으며, 아키텍처 인식 정규화의 이점을 입증했다.