[논문 리뷰] Negative eigenvalues of the Hessian in deep neural networks

Guillaume Alain, Nicolas Le Roux외 1명|arXiv (Cornell University)|2019. 02. 06.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 23

한 줄 요약

이 논문은 딥 뉴럴 네트워크의 헤시안에서 음의 고유값의 역할을 조사하며, 손실 감소 잠재력이 크지만 현재 최적화 방법에서 잘 활용되지 않는다는 점을 보여준다. MNIST에 대해 훈련한 LeNet에서 헤시안 고유분해를 사용한 결과, 음의 곡률 방향은 훈련 전반에 걸쳐 안정적이고 상당한 향상을 제공하는 반면, 양의 곡률 방향에서는 성과가 점차 감소함을 확인하였다.

ABSTRACT

The loss function of deep networks is known to be non-convex but the precise nature of this nonconvexity is still an active area of research. In this work, we study the loss landscape of deep networks through the eigendecompositions of their Hessian matrix. In particular, we examine how important the negative eigenvalues are and the benefits one can observe in handling them appropriately.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 손실 곡면에서 음의 곡률 방향의 역할을 이해한다.
• 현재 최적화 방법이 음의 곡률 방향을 얼마나 효과적으로 활용하는지 평가한다.
• 음의 곡률 영역에서 손실 함수의 이차근사 근사의 정확도를 조사한다.
• 양의 곡률 및 음의 곡률 방향에서 곡률 크기와 최적 스텝 사이즈 간의 관계를 탐구한다.
• 음의 곡률 방향이 훈련 효율성 및 수렴성 향상에 있어 안정성과 잠재력을 어떻게 제공하는지 평가한다.

제안 방법

• 전체 헤시안 저장을 피하기 위해 자코비안-벡터 곱 기법을 사용하여 헤시안 행렬의 고유값과 고유벡터를 계산하였다.
• 훈련 중 헤시안의 상위 및 하위 고유벡터(LA(k) 및 SA(k))를 추적하여 곡률 변화를 모니터링하였다.
• MNIST에서 고정된 하이퍼파rameter를 사용한 RMSProp을 사용하여 헤시안 분석을 위한 훈련 궤적을 생성하였다.
• 해석적으로 유도된 최적 스텝 사이즈를 사용하여 각 고유벡터 방향에서 가능한 최대 손실 감소를 평가하였다.
• 양의 곡률 방향과 음의 곡률 방향에서 손실 함수의 이차근사 근사 성능을 비교하였다.
• 함수 기반의 헤시안-벡터 곱을 사용하여 대규모 모델에까지 확장 가능한 희소 대칭 고유값 해소기(예: SciPy의 eigsh)를 활용하였다.

실험 결과

연구 질문

• RQ1 딥 네트워크 훈련 중 헤시안의 고유값, 특히 음의 고유값은 어떻게 변화하는가?
• RQ2 현재의 일阶 최적화 방법은 손실 곡면의 음의 곡률 방향을 어느 정도 활용하는가?
• RQ3 양의 곡률에 비해 음의 곡률 방향에서 손실 함수의 이차근사 근사는 얼마나 정확한가?
• RQ4 음의 곡률 방향에서 곡률 크기와 최적 스텝 사이즈 간의 관계는 어떠한가?
• RQ5 음의 곡률 방향에서의 잠재적 손실 감소는 얼마나 되며, 이 잠재력은 시간이 지남에 따라 감소하는가?

주요 결과

• MNIST에서 훈련 중 가장 큰 음의 고유값이 안정적으로 유지되어 특정 방향에서 지속적인 음의 곡률이 있음을 나타낸다.
• 음의 곡률 방향은 항상 양의 곡률 방향보다 더 높은 손실 감소 잠재력을 제공하며, 시간이 지나도 성과가 안정적으로 유지된다.
• 음의 곡률 방향에서의 최적 스텝 사이즈는 양의 곡률 방향에서 관찰된 $\alpha^* = 1/|\rho|$ 규칙을 따르지 않는다.
• 손실 함수의 이차근사 근사는 음의 곡률 방향에서 상당히 파손되며, 이는 국소 근사 품질이 열 劣하다는 것을 의미한다.
• 음의 고유값이 적을지라도, 음의 곡률 방향에서의 총 손실 감소 잠재력은 양의 곡률 방향을 초월한다.
• 현재 최적화 방법은 음의 곡률 방향을 효과적으로 활용하지 못하며, 이는 향상된 최적화 알고리즘을 위한 핵심적 기회임을 시사한다.