[논문 리뷰] On the energy landscape of deep networks

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|2015. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 14

한 줄 요약

이 논문은 딥 네트워크의 손실 곡면을 탐색하기 위해 추가적인 기울기 편향을 점차 감소시키는 정규화된 확률적 경사 하강법인 AnnealSGD를 소개한다. 스핀 거품 이론에 영감을 받아, 복잡한 지수적 수의 국소 최소값을 가진 원래의 복잡한 곡면에서부터 단순화된 다항식 곡면으로의 전이를 통해 일반화 성능을 향상시킨다. 아키텍처의 변경 없이 MNIST 및 CIFAR-10에서 성능 향상을 달성한다.

ABSTRACT

We introduce "AnnealSGD", a regularized stochastic gradient descent algorithm motivated by an analysis of the energy landscape of a particular class of deep networks with sparse random weights. The loss function of such networks can be approximated by the Hamiltonian of a spherical spin glass with Gaussian coupling. While different from currently-popular architectures such as convolutional ones, spin glasses are amenable to analysis, which provides insights on the topology of the loss function and motivates algorithms to minimize it. Specifically, we show that a regularization term akin to a magnetic field can be modulated with a single scalar parameter to transition the loss function from a complex, non-convex landscape with exponentially many local minima, to a phase with a polynomial number of minima, all the way down to a trivial landscape with a unique minimum. AnnealSGD starts training in the relaxed polynomial regime and gradually tightens the regularization parameter to steer the energy towards the original exponential regime. Even for convolutional neural networks, which are quite unlike sparse random networks, we empirically show that AnnealSGD improves the generalization error using competitive baselines on MNIST and CIFAR-10.

연구 동기 및 목표

• 스핀 거품 모델을 사용하여 딥 네트워크 손실 곡면의 위상적 구조를 이해하기 위해.
• 지수적으로 많은 국소 최소값을 가진 복잡한 비볼록 손실 함수로 인해 딥 네트워크 학습이 어려운 문제를 해결하기 위해.
• 곡면 단순화를 활용하여 더 나은 최적화 및 일반화를 달성하는 학습 알고리즘을 개발하기 위해.
• 희박한 무작위 가중치 기반 모델임에도 불구하고 현대 컨볼루션 네트워크에서 실험적으로 방법을 검증하기 위해.

제안 방법

• 논문은 희박하고 무작위로 설정된 가중치를 가진 딥 네트워크를 스핀 거품으로 모델링하며, 손실 함수는 가우시안 결합을 가진 구면 스핀 거품 해밀토니안에 근사한다.
• 스핀 거품 이론에서 자석장에 해당하는 추가적인 편향 항을 도입하여, 손실 곡면의 국소 최소값 수를 제어한다.
• AnnealSGD는 스칼라 형태의 냉각 스케줄을 사용하여 편향 강도를 점차 감소시켜, 국소 최소값 수가 적은 다항식 영역에서부터 원래의 지수적 영역으로의 전이를 이룬다.
• 편향은 기울기 갱신에 고정된 방향의 보정으로 적용되어 재샘플링된 노이즈가 유도하는 불안정성 효과를 피한다.
• 학습 중 편향 강도를 제어하는 유일한 하이퍼파rameter를 조절함으로써 방법을 구현한다.
• 실험은 완전 연결 및 컨볼루션 네트워크에서 수행되었으며, All-CNN-BN을 사용한 CIFAR-10에서도 표준 SGD 및 Adam과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 희박하고 무작위 가중치를 가진 아키텍처에 대해 스핀 거품 이론을 사용하여 딥 네트워크의 에너지 곡면을 모델링할 수 있는가?
• RQ2 외부 편향(스핀 거품 이론에서 자석장에 해당)은 손실 곡면의 국소 최소값 수와 분포에 어떤 영향을 미치는가?
• RQ3 이러한 편향을 냉각시키는 것이 표준 딥 네트워크의 학습 동역학과 일반화 성능을 향상시킬 수 있는가?
• RQ4 고정된 방향의 편향이 재샘플링된 기울기 노이즈보다 최적화 성능에서 뛰어난가?
• RQ5 스핀 거품 이론에서 도출된 통찰은 현대 컨볼루션 네트워크의 실용적 학습 알고리즘 설계에 어느 정도 기여할 수 있는가?

주요 결과

• All-CNN-BN 아키텍처를 사용하여 CIFAR-10에서 테스트 오차를 기준선의 8.42%에서 AnnealSGD로 7.95%로 감소시켜 일반화 성능 향상을 입증하였다.
• 냉각 없이도 0.66%의 성능 향상이 발생하여, 편향 자체가 본질적인 이점을 가짐을 시사한다.
• 그림 4와 표 1에 따르면, 재샘플링된 추가 노이즈(기울기 노이즈의 한 형태)는 고정된 방향의 편향보다 성능이 열 劣하다.
• 냉각 스케줄 덕분에 더 우호적인 곡면 덕분에 초기 학습 속도가 빨라지며, 최종 성능에 미치는 영향은 최소한이다.
• 이 방법은 강건하고 쉽게 구현 가능하며, 편향 강도를 제어하는 데 유일한 하이퍼파rameter만 필요하다.
• 이론적 분석 결과, 냉각 과정이 원래 국소 최소값의 위치를 변경하지 않음을 확인하여 최적화 목표를 유지함을 입증하였다.