[논문 리뷰] Path-SGD: Path-Normalized Optimization in Deep Neural Networks

Behnam Neyshabur, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2015. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 164

한 줄 요약

이 논문은 경로 정규화 기반 경사하강법을 사용해 체중 재스케일링에 대해 불변성을 확보함으로써, 체중 재스케일링에도 불구하고 동일한 네트워크 함수를 유지하는 최적화 방법인 Path-SGD를 제안한다. 최대노름 정규화에 영감을 받은 경로별 정규화자에 대한 기울기 하강의 근사 최강하강법을 통해 Path-SGD는 수렴 속도와 일반화 성능에서 기존의 SGD 및 AdaGrad를 능가하며, 특히 체중 초기화가 균형 잡히지 않은 경우에 두각을 나타낸다.

ABSTRACT

We revisit the choice of SGD for training deep neural networks by reconsidering the appropriate geometry in which to optimize the weights. We argue for a geometry invariant to rescaling of weights that does not affect the output of the network, and suggest Path-SGD, which is an approximate steepest descent method with respect to a path-wise regularizer related to max-norm regularization. Path-SGD is easy and efficient to implement and leads to empirical gains over SGD and AdaGrad.

연구 동기 및 목표

• 표준 SGD의 한계를 해결하기 위해 체중 최적화의 기하학을 재고함으로써 딥 러닝에서의 성능 향상을 도모한다.
• 체중 재스케일링에 영향을 받지 않는 최적화 방법을 개발하여, 네트워크의 출력 함수에 영향을 주지 않는다.
• ReLU 네트워크의 인덕티브 바이어스와 최적화 기하학을 일치시킴으로써 학습 효율성과 일반화 성능을 향상시킨다.
• 경로 정규화된 최적화가 표준 $β$-노름 또는 체중 감소보다 더 나은 암묵적 정규화를 이끌어내는지 확인한다.
• 기존 학습 파ip라인에 쉽게 통합할 수 있는 실용적이고 효율적인 SGD의 대안을 제공한다.

제안 방법

• 체중의 모든 재스케일링에 대한 최소 최대노름을 기반으로 유도된 경로 정규화자에 대해 기울기 하강의 근사 최강하강법으로 Path-SGD를 제안한다.
• 모든 은닉 유닛에서 들어오는 가중치는 상수 요소 $c > 0$로 곱하고, 나가는 가중치는 이를 나누는 변환을 통해 체중 재스케일링 불변성을 정의한다.
• 모든 이러한 재스케일링에 대해 가능한 최소 최대노름을 계산하는 경로 정규화자를 도입하여 체중 재스케일링에 대한 불변성을 보장한다.
• 이 정규화자를 사용해 체중 공간에 리만 기하학 유사한 기하학을 정의함으로써, 체중 재스케일링에 불변적인 최강하강 업데이트를 가능하게 한다.
• 네트워크 그래프 내 경로를 기반으로 동적 프로그래밍을 사용해 경로 정규화자를 효율적으로 계산함으로써 Path-SGD를 실현 가능하게 한다.
• Path-SGD를 적응형 스텝 사이즈(예: AdaGrad) 및 모멘타임과 결합하여, 기존 최적화 히우리스틱과의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 체중 재스케일링이 네트워크의 기능에 영향을 주지 않기 때문에, 딥 네트워크에서의 최적화 기하학을 체중 재스케일링에 대해 불변으로 설계할 수 있는가?
• RQ2 경로 정규화된 최적화는 표준 SGD 및 AdaGrad에 비해 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?
• RQ3 재스케일링에 대한 최소 최대노름 기반 정규화자를 실용적으로 효율적으로 계산하고 딥 네트워크 학습에 활용할 수 있는가?
• RQ4 Path-SGD에 의해 유도되는 암묵적 정규화는 특히 열악하거나 균형 잡히지 않은 체중 초기화 조건에서 일반화 성능을 향상시키는가?
• RQ5 드롭아웃 유무에 관계없이 딥 네트워크를 훈련시킬 때, Path-SGD는 SGD 및 AdaGrad에 비해 어떻게 성능을 발휘하는가?

주요 결과

• Path-SGD는 MNIST, CIFAR-10, CIFAR-100, SVHN 등 다양한 벤치마크 데이터셋에서 SGD 및 AdaGrad보다 더 빠른 수렴을 달성한다.
• 균형 잡히지 않은 체중 초기화 조건에서, Path-SGD는 성능을 유지하는 반면, SGD 및 AdaGrad는 훈련 오차와 테스트 오차가 심각하게 악화된다.
• Path-SGD는 SGD 및 AdaGrad보다 더 우수한 일반화 성능을 보이며, 훈련 오차가 0일 때조차도 더 낮은 테스트 오차를 기록함으로써 향상된 암묵적 정규화를 시사한다.
• 이 방법은 수치적으로 안정적이며, 네트워크가 균형 잡힌지 혹은 균형 잡히지 않은 방식으로 초기화되었는지에 관계없이 동일한 최적화 궤적을 생성한다.
• 특히 드롭아웃이 적용된 환경에서 Path-SGD는 훈련 속도와 최종 일반화 오차 모두에서 베이스라인 방법을 능가한다.
• 이 방법은 적응형 스텝 사이즈 및 모멘타임과 호환되며, 이러한 기법과 조합할 경우 성능 향상 잠재력이 있음을 시사한다.