[논문 리뷰] Diagonal Rescaling For Neural Networks

Jean Lafond, Nicolas Vasilache외 1명|arXiv (Cornell University)|2017. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 신경망에서 확률적 경사하강법을 위한 대각 스케일링 방법을 제안하며, 재매aram터화를 통해 유닛 활성화를 정규화함으로써 효율적인 2차 최적화를 가능하게 한다. 이는 RMSProp과 팬-인 스텝사이즈 스케일링에 대한 원리적인 설명과 함께, 훈련 불안정성의 핵심 원인인 빠른 곡률 변화의 역할을 밝혀내며, 배치 정규화가 작동하는 이유와 표준 2차 최적화 방법이 적응형 곡률 추정 없이 실패하는 이유를 설명한다.

ABSTRACT

We define a second-order neural network stochastic gradient training algorithm whose block-diagonal structure effectively amounts to normalizing the unit activations. Investigating why this algorithm lacks in robustness then reveals two interesting insights. The first insight suggests a new way to scale the stepsizes, clarifying popular algorithms such as RMSProp as well as old neural network tricks such as fanin stepsize scaling. The second insight stresses the practical importance of dealing with fast changes of the curvature of the cost.

연구 동기 및 목표

• 블록 대각 곡률 근사화를 사용하여 신경망에서 계산 오버헤드가 없는 2차 확률적 경사하강 알고리즘을 개발한다.
• 강력한 이론적 성능에도 불구하고 제안된 알고리즘이 안정성이 떨어지는 이유를 조사한다.
• RMSProp과 팬-인 스텝사이즈 스케일링과 같은 인기 있는 최적화 방법에서 적응형 스텝사이즈 스케일링의 역할을 명확히 한다.
• 빠르게 변화하는 곡률이 2차 최적화에 미치는 영향과 배치 정규화에 대한 함의를 이해한다.
• 곡률과 정규화의 관점에서 딥 러닝 최적화 기법들을 통합적인 시각으로 제공한다.

제안 방법

• 완전 연결 층을 스케일 파라미터 αi, μi, βj를 사용해 재매개변수화하여 활성화를 정규화하고, 가중치 갱신을 입력 통계에서 분리한다.
• βj²gj와 αi²(xi−μi)의 형태로 가중치 갱신 규칙을 유도함으로써, 각 레이어당 O(n+m) 오버헤드로 효율적인 계산을 가능하게 한다.
• 역 헤시안의 블록 대각 근사를 적용하여 국소 곡률에 기반해 스텝사이즈를 스케일링함으로써 수렴 속도를 향상시킨다.
• 활성화 통계의 누적 평균을 사용해 곡률을 추정하지만, 곡률의 변화가 빠를 경우 이는 실패할 수 있음을 보여준다.
• 빠른 곡률 변화로 인한 불안정성을 완화하기 위해 현재 미니배치에서 곡률을 평가하는 방법(배치 정규화 방식과 유사)을 제안한다.
• 통계 추정이 잘못되었을 경우 훈련을 불안정하게 만들 수 있는 재매개변수화 내의 피드백 루프를 도입한다.

실험 결과

연구 질문

• RQ1 이론적으로 타당한 2차 확률적 경사하강 알고리즘이 실무에서는 왜 수렴성이 떨어지는가?
• RQ2 대각 스케일링은 신경망 훈련에서 RMSProp과 팬-인 스텝사이즈 스케일링의 행동을 어떻게 명확히 하는가?
• RQ3 곡률 추정치가 오래되었을 때 2차 최적화에서 돌연 수렴 불량이 발생하는 원인은 무엇인가?
• RQ4 왜 배치 정규화가 고정된 곡률 근사치보다 훈련 안정성을 향상시키는가?
• RQ5 현재 미니배치에서 적응형 곡률 추정을 수행하면 2차 최적화의 불안정성을 방지할 수 있는가?

주요 결과

• 제안된 대각 스케일링 알고리즘은 소규모 데이터셋에서는 잘 작동하지만, 대규모 ImageNet에서는 곡률의 급격한 변화로 인한 불안정성으로 인해 실패한다.
• 이 불안정성은 고정된 활성화 통계의 누적 평균이 오래되어 잘못된 재매개변수화를 초래하고, ReLU 유닛이 비활성화되는 데 기인한다.
• 곡률가 천천히 변화한다고 가정하는 2차 방법은 손실 곡면이 일정 손실을 가지는 쌍곡 곡면을 형성할 경우, 소수의 수치 노이즈로 인해 큰 가중치 갱신이 발생하여 실패한다.
• 알고리즘의 발산 원인은 곡률이 가중치 스케일링 불변성으로 인해 스텝사이즈가 클 경우 급격히 변화할 수 있기 때문이다.
• 현재 미니배치에서 곡률을 평가하는 것—배치 정규화 방식과 유사하게—불안정성과 성능 향상에 크게 기여한다.
• 이 통찰은 RMSProp, 팬-인 스케일링, 배치 정규화를 적응형 스텝사이즈 스케일링과 곡률 추정의 통합 프레임워크 안에서 통합적으로 설명한다.