[논문 리뷰] Explorations on high dimensional landscapes

Levent Sagun, V. Uğur Güney외 2명|arXiv (Cornell University)|2014. 12. 20.

Data Management and Algorithms참고 문헌 15인용 수 35

한 줄 요약

이 논문은 고차원 비볼록 함수의 최적화 지형을 조사하며, 스핀 거품 모델과 딥 네ural 네트워크 모두에서 임계점—특히 국소 최소점—이 '바닥층'이라 불리는 좁은 에너지 대역에 조밀하게 뭉쳐져 있음을 보여준다. 경사 하강법(GD)과 확률적 경사 하강법(SGD)을 사용하여 두 방법이 동일한 수의 단계 내에 이 바닥층에 수렴함을 보여, 바닥층은 노이즈나 업데이트 전략과 관계없이 고차원 최적화의 보편적 특성임을 시사한다.

ABSTRACT

Finding minima of a real valued non-convex function over a high dimensional space is a major challenge in science. We provide evidence that some such functions that are defined on high dimensional domains have a narrow band of values whose pre-image contains the bulk of its critical points. This is in contrast with the low dimensional picture in which this band is wide. Our simulations agree with the previous theoretical work on spin glasses that proves the existence of such a band when the dimension of the domain tends to infinity. Furthermore our experiments on teacher-student networks with the MNIST dataset establish a similar phenomenon in deep networks. We finally observe that both the gradient descent and the stochastic gradient descent methods can reach this level within the same number of steps.

연구 동기 및 목표

• 고차원 비볼록 최적화 지형에서 임계점의 구조를 조사하는 것.
• GD 및 SGD와 같은 최적화 알고리즘이 복잡한 시스템에서 동일한 에너지 수준으로 수렴하는지 확인하는 것.
• 교사-학생 네트워크와 같은 딥 러닝 모델에서 '바닥층'—지수적으로 많은 국소 최소점을 포함하는 임계점의 좁은 에너지 대역—이 존재하는지 탐색하는 것.
• SGD의 내재된 노이즈에도 불구하고 GD와 SGD가 바닥층에 도달하는 데서의 성능을 비교하는 것.
• 바닥층 현상이 스핀 거품이나 신경망에 국한되지 않고 고차원 시스템의 일반적 특성일 수 있음을 제안하는 것.

제안 방법

• 해밀토니안이 독립적이고 동일한 분포를 가진 가우시안 상호작용의 합으로 정의된 평균장 구형 스핀 거품 모델을 시뮬레이션한다: $ H_N(w) = \frac{1}{N} \sum_{i,j,k} x_{ijk} w_i w_j w_k $.
• 경사 하강법(GD)과 크기 1의 미니배치를 사용한 확률적 경사 하강법(SGD)을 적용하며, 각 합성항의 그래디언트의 음의 방향으로 가중치를 갱신한다.
• MNIST에 대해 교사-학생 신경망 프레임워크를 사용하며, 교사 네트워크는 반의 데이터로 훈련되고 학생 네트워크를 감독하는 데 사용된다.
• 훈련 비용, 테스트 비용, 테스트 오차를 측정하여 다양한 하이퍼파라미터 설정에서 GD와 SGD를 비교한다.
• 임계점과 에너지 수준 분포의 통계 분석을 통해 '바닥층'—지수적으로 많은 임계점을 포함하는 에너지 값의 좁은 대역—의 존재를 식별한다.
• 다양한 시스템 차원과 노이즈 수준에서 알고리즘의 동작을 비교하며, 로그 스케일 플롯과 표준편차 밴드를 사용해 수렴 속도와 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝의 고차원 비볼록 지형에서 스핀 거품에서 관찰된 '바닥층'과 유사한 좁은 임계점 대역이 존재하는가?
• RQ2 노이즈와 업데이트 전략의 차이에도 불구하고 GD와 SGD가 이러한 지형에서 동일한 에너지 수준으로 수렴하는가?
• RQ3 이러한 시스템에서 바닥층 수준이 전역 최소값에 가까운가, 이는 절대 최소값은 아니지만 실용적으로 최적의 해로 간주될 수 있는가?
• RQ4 바닥층의 존재가 최적화 알고리즘의 수렴 속도와 최종 비용에 어떤 영향을 미치는가?
• RQ5 바닥층 현상은 스핀 거품과 딥 네트워크를 초월해 일반화될 수 있는가, 이는 고차원 최적화의 보편적 특성임을 시사하는가?

주요 결과

• 고차원 스핀 거품 모델에서, 낮은 색인(예: 국소 최소점)을 가진 대부분의 임계점은 지구 상태 위에 약간 떨어진 '바닥층'이라 불리는 좁은 에너지 대역에 집중되어 있다.
• 경사 하강법(GD)과 확률적 경사 하강법(SGD)이 동일한 수의 단계 내에 동일한 에너지 수준(바닥층)으로 수렴함을 보여, 노이즈가 이러한 지형에서 최종 수렴점에 크게 영향을 주지 않는다는 것을 시사한다.
• 두 층의 학생 네트워크를 사용한 MNIST 데이터셋에서, GD와 SGD는 유사한 훈련 비용과 테스트 비용을 달성하며, 500-300 설정에서 SGD는 약간 더 우수한 일반화 성능(테스트 오차 174 대비 194)을 보였다.
• GD와 SGD의 평균 훈련 비용은 매우 느리게 감소하며, 로그 스케일에서도 감소 경향이 명확하지 않아, 수렴이 매우 느리고 평탄한 경향을 보임을 시사한다.
• 바닥층은 이론적 구조를 넘어서 실질적 의미를 지닌다: MNIST 실험에서 학생 네트워크는 교사의 오차를 이어받고 전파하지만, 동시에 일부 오차를 수정함으로써 바닥층이 손실 지형의 안정적이고 학습 가능한 영역임을 보여준다.
• SGD의 노이즈가 고에너지 국소 최소점에서 탈출하는 데 도움이 될 것이라는 이론적 기대와는 달리, 두 알고리즘이 실제로 유사하게 행동함을 보여, 바닥층이 고차원 최적화에서 지배적인 흡인 영역임을 시사한다.