[논문 리뷰] Trivializing The Energy Landscape Of Deep Networks.

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|2015. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 72인용 수 11

한 줄 요약

이 논문은 딥 러닝을 스핀 거품 모델과 연결하는 이론적 프레임워크를 제안하며, 정규화(외부 자석장과 유사)를 적용할 경우 딥 네트워크의 손실 곡면이 단순화되어 지수적으로 많은 국소 최소값이 일정 수준으로 줄어든다고 보여준다. 핵심 결과는 이러한 교란이 경사 하강법이 열악한 국소 최소값에서 벗어나도록 도와주며, 정규화 및 냉각 스케줄에 대한 힌트를 제공한다는 것이다.

ABSTRACT

We study a theoretical model that connects deep learning to finding the ground state of the Hamiltonian of a spherical spin glass. Existing results motivated from statistical physics show that deep networks have a highly non-convex energy landscape with exponentially many local minima and energy barriers beyond which gradient descent algorithms cannot make progress. We leverage a technique known as topology trivialization where, upon perturbation by an external magnetic field, the energy landscape of the spin glass Hamiltonian changes dramatically from exponentially many local minima to total trivialization, i.e., a constant number of local minima. There also exists a transitional regime with polynomially many local minima which interpolates between these extremes. We show that a number of regularization schemes in deep learning can benefit from this phenomenon. As a consequence, our analysis provides order heuristics to choose regularization parameters and motivates annealing schemes for these perturbations.

연구 동기 및 목표

• 통계역학과 스핀 거품 이론의 시각을 통해 딥 네트워크의 매우 비볼록적인 에너지 곡면을 이해하기 위해.
• 자기장으로 모델링된 외부 교란이 손실 곡면을 지수적으로 많은 국소 최소값에서 수많은 최소값이 없는 단순한 형태로 변화시키는 방식을 조사하기 위해.
• 스핀 거품 위상 구조의 단순화 이론적 통찰을 실용적인 딥 러닝 정규화 기법과 연결하기 위해.
• 에너지 곡면의 위상 전이에 기반하여 정규화 파rameter 선택을 위한 주요 순서의 힌트를 유도하기 위해.
• 스핀 거품 모델에서 관찰된 교란의 점진적 적용을 모방하는 정규화의 냉각 전략을 동기화하기 위해.

제안 방법

• 딥 네트워크의 손실 곡면을 구형 스핀 거품의 해밀토니안으로 모델링하고 통계역학 도구를 활용하기 위해.
• 스핀 거품 해밀토니안에 외부 자석장과 유사한 교란을 적용하여 에너지 곡면의 위상 전이를 유도하기 위해.
• 국소 최소값의 수에서의 상전이 분석: 교란 이전에는 지수적이고, 강한 교란 이후에는 일정 수준이며, 중간에 다항식적 영역이 존재함.
• 위상 구조의 단순화 개념을 사용하여, 곡면이 교란될 경우 경사 하강법이 열악한 국소 최소값에서 벗어나는 방식을 설명하기 위해.
• 딥 러닝의 정규화와 스핀 거품 모델의 자석장 간의 이론적 연결을 유도하기 위해.
• 지수적 최소값과 일정 수의 최소값 사이의 전이 영역에서 관측된 결과를 바탕으로 정규화 강도에 대한 힌트를 제시하기 위해.

실험 결과

연구 질문

• RQ1 외부 자석장의 추가가 구형 스핀 거품의 에너지 곡면에서 국소 최소값의 수와 구조에 어떤 영향을 미치는가?
• RQ2 스핀 거품 에너지 곡면의 위상 단순화가 딥 러닝에서 정규화의 성공을 설명할 수 있는가?
• RQ3 지수적으로 많은 국소 최소값이 있는 비볼록 단계와 단순화된 단계 사이의 전이에서 다항식적으로 많은 국소 최소값이 있는 중간 영역의 역할은 무엇인가?
• RQ4 국소 최소값 수의 상전이가 딥 네트워크의 정규화 하이퍼파rameter 선택에 어떻게 기여하는가?
• RQ5 스핀 거품 모델의 교란 역학에서 유도된 정규화 파rameter에 대한 냉각 스케줄은 무엇인가?

주요 결과

• 딥 네트워크의 에너지 곡면을 구형 스핀 거품으로 모델링할 경우, 외부 자석장의 영향을 받아 지수적으로 많은 국소 최소값에서 일정 수의 최소값으로 전이된다.
• 지수적 최소값과 일정 수의 최소값 사이에 다항식적으로 많은 국소 최소값이 존재하는 전이 영역이 존재하며, 이는 매우 비볼록 단계와 단순화된 단계 사이의 보간 역할을 한다.
• 딥 러닝에서의 정규화는 유사한 교란을 유도함으로써 손실 곡면을 단순화하고 최적화를 도와준다.
• 이론적 분석을 통해 에너지 곡면의 위상 전이에 기반한 정규화 파rameter 선택을 위한 주요 순서의 힌트를 제공한다.
• 정규화 강도를 점진적으로 증가시키는 냉각 전략은 스핀 거품 모델에서의 교란 점진적 적용을 모방할 수 있다.
• 위상 구조의 단순화 현상은 경사 하강법이 많은 국소 최소값이 존재하는 상황에서도 성공할 수 있는 이론적 설명을 제공한다.