[논문 리뷰] Entropy-SGD: Biasing Gradient Descent Into Wide Valleys

Pratik Chaudhari, Anna Choromanska외 7명|arXiv (Cornell University)|2016. 11. 06.

Model Reduction and Neural Networks참고 문헌 60인용 수 114

한 줄 요약

Entropy-SGD는 로컬 엔트로피 기반 목표를 도입하여 그래디언트 디센스를 넓고 평평한 밸리로 편향시켜 일반화와 학습 속도를 개선합니다. 두 루프 접근법을 사용하며, 내부 란게빈 다이나믹스로 로컬 엔트로피를 추정한 뒤 외부 가중치 업데이트를 수행합니다.

ABSTRACT

This paper proposes a new optimization algorithm called Entropy-SGD for training deep neural networks that is motivated by the local geometry of the energy landscape. Local extrema with low generalization error have a large proportion of almost-zero eigenvalues in the Hessian with very few positive or negative eigenvalues. We leverage upon this observation to construct a local-entropy-based objective function that favors well-generalizable solutions lying in large flat regions of the energy landscape, while avoiding poorly-generalizable solutions located in the sharp valleys. Conceptually, our algorithm resembles two nested loops of SGD where we use Langevin dynamics in the inner loop to compute the gradient of the local entropy before each update of the weights. We show that the new objective has a smoother energy landscape and show improved generalization over SGD using uniform stability, under certain assumptions. Our experiments on convolutional and recurrent networks demonstrate that Entropy-SGD compares favorably to state-of-the-art techniques in terms of generalization error and training time.

연구 동기 및 목표

• 에너지 지형의 국지 기하를 활용하여 깊은 네트워크의 학습을 촉진한다.
• 샤프한 최솟값보다 넓은 밸리를 선호하는 로컬 엔트로피 기반 목표를 제안한다.
• 롱게빈 다이나믹스를 통해 로컬 엔트로피를 추정하는 최적화 알고리즘(Entropy-SGD)을 개발한다.
• 일정한 가정하에서 매끄러움 효과와 일반화 보장을 분석한다.
• CNN, RNN 및 텍스트/비전 벤치마크에서 실험적 성능을 보여준다.

제안 방법

• 로컬 엔트로피 F(x, gamma)를 x 주변에 초점을 맞춘 수정된 기브스 분포의 로그 분할 함수로 정의한다.
• 로컬 엔트로피의 기울기를 기브스 분포의 기대값을 통해 도출하고 이를 확률적 경사 란게빈 다이나믹스(SGLD)로 근사한다.
• 로컬 엔트로피 그래디언트를 추정하기 위한 L개의 SGLD 단계의 내부 루프와 함께 -F(x, gamma)의 그래디언트를 사용하여 가중치를 업데이트하는 외부 SGD 루프로 Entropy-SGD를 구현한다.
• 이웃 크기를 제어하는 스코핑 매개변수 gamma를 도입하고 넓은 밸리에 점진적으로 집중하도록 지수적 스케줄을 제안한다.
• SGLD 단계, 평균화 μ, 모멘텀 및 학습률 선택 등 실용적인 구현 세부사항을 논의한다.
• 더 매끄러운 로컬 엔트로피 목표가 개선된 안정성과 일반화 경계와 연결되는 이론적 관점을 제공한다.

실험 결과

연구 질문

• RQ1 로컬-엔트로피 기반 목표가 표준 SGD에 비해 최적화 지형을 더 매끄럽게 만드는가?
• RQ2 Entropy-SGD가 넓은 밸리로의 편향을 통해 일반화를 더 향상시킬 수 있는가?
• RQ3 스코핑 매개변수 gamma가 최적화 다이나믹스와 일반화에 어떤 영향을 미치는가?
• RQ4 CNN, RNN 및 언어 모델에서 일반화 및 학습 속도 측면에서 어떤 실험적 이득이 있는가?

주요 결과

• 로컬 최소점에서의 해시안 고유값 스펙트럼은 다수의 거의 0에 가까운 방향과 소수의 큰 양의 곡률 방향을 보이며 넓은 밸리가 일반화에 유리하다는 것을 시사한다.
• Entropy-SGD는 종종 학습 속도가 빠르면서도 기준선과 비교하여 일반화가 같거나 더 좋고, RNN에서 2배의 속도 향상을 포함한다.
• 로컬 엔트로피의 기울기를 추정하기 위해 SGLD를 사용하는 것은 더 매끄러운 유효 손실 지형을 형성하고 안정성 기반 일반화 경계를 개선한다.
• 이 방법은 MNIST, CIFAR-10, PTB에서 심층 네트워크로 확장 가능하며 경쟁력 있는 테스트 에러와 우수한 학습 동역학을 보인다.
• gamma에 대한 스코핑 스케줄은 거친 스케일에서의 탐색과 미세 스케일에서의 정밀화를 가능하게 하여 효율성과 일반화에 기여한다.