[논문 리뷰] Unreasonable Effectiveness of Learning Neural Nets: Accessible States and Robust Ensembles.

Carlo Baldassi, Christian Borgs외 5명|arXiv (Cornell University)|2016. 05. 20.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 복제 기반 비용 함수를 사용하여 신경망 가중치 공간 내에서 조밀하고 접근 가능한 영역—특히 이산 가중치 네트워크에서—를 식별하고 목표로 하는 새로운 프레임워크인 강건 앙상블(RE)을 소개한다. 이러한 강건한 영역을 강화함으로써 이 방법은 다양한 알고리즘에서 더 빠르고 신뢰할 수 있는 학습을 가능하게 하며, 가중치 정밀도에 거의 민감하지 않게 성능을 크게 향상시킨다.

ABSTRACT

In artificial neural networks, learning from data is a computationally demanding task in which a large number of connection weights are iteratively tuned through stochastic-gradient-based heuristic processes over a cost-function. It is not well understood how learning occurs in these systems, in particular how they avoid getting trapped in configurations with poor computational performance. Here we study the difficult case of networks with discrete weights, where the optimization landscape is very rough even for simple architectures, and provide theoretical and numerical evidence of the existence of rare---but extremely dense and accessible---regions of configurations in the network weight space. We define a novel measure, which we call the \emph{robust ensemble} (RE), which suppresses trapping by isolated configurations and amplifies the role of these dense regions. We analytically compute the RE in some exactly solvable models, and also provide a general algorithmic scheme which is straightforward to implement: define a cost-function given by a sum of a finite number of replicas of the original cost-function, with a constraint centering the replicas around a driving assignment. To illustrate this, we derive several powerful new algorithms, ranging from Markov Chains to message passing to gradient descent processes, where the algorithms target the robust dense states, resulting in substantial improvements in performance. The weak dependence on the number of precision bits of the weights leads us to conjecture that very similar reasoning applies to more conventional neural networks. Analogous algorithmic schemes can also be applied to other optimization problems.

연구 동기 및 목표

• 신경망이 이산 가중치 설정에서 흉측한 최적화 곡면을 가진 상황에서도 빈약한 국소 최소값에 갇히지 않는 이유를 이해하는 것.
• 효율적 학습을 가능하게 하는 희귀하지만 매우 접근 가능하고 조밀한 가중치 공간 내 영역을 식별하는 것.
• 고립된 비최적 구성에 갇히는 것을 억제하는 일반화 가능한 방법을 개발하는 것.
• 다양한 최적화 철학에 걸쳐 학습 성능을 향상시키는 실용적인 알고리즘 프레임워크를 설계하는 것.
• 정확히 해석 가능한 모델에서의 통찰을 더 넓은 신경망 아키텍처와 다른 최적화 문제로 확장하는 것.

제안 방법

• 고립된 구성에 대한 억제와 가중치 공간 내 조밀하고 접근 가능한 영역에 대한 강조를 위한 새로운 측정치로 강건 앙성(RE)을 제안한다.
• 원래 비용 함수의 복제체들의 합으로서 비용 함수를 정의하며, 중심 주도 할당 주변의 제약 조건을 통해 학습 안정성을 확보한다.
• RE 공식화를 활용하여 경사 하강법, 마르코프 체인, 메시지 전달 방법 등에 적용 가능한 일반적인 알고리즘 체계를 개발한다.
• 정확히 해석 가능한 모델에서 RE를 분석적으로 계산하여 이론적 기반을 검증한다.
• 성능가 가중치 정밀도 비트 수에 대해 약한 의존성을 보이며, 이는 광범위한 적용 가능성을 시사한다.
• 다양한 최적화 철학에 걸쳐 새로운 고성능 학습 알고리즘을 도출하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 이산 가중치를 가진 신경망은 흉측한 최적화 곡면을 지닌 상황에서도 빈약한 국소 최소값에 갇히지 않는 이유는 무엇인가?
• RQ2 신경망에서 효율적 학습을 가능하게 하는 가중치 공간의 구조적 특성은 무엇인가?
• RQ3 가중치 공간 내 조밀하고 접근 가능한 영역을 체계적으로 식별하고 활용할 수 있는가?
• RQ4 고립된 구성에 대한 억제와 고밀도 영역의 강화를 위한 강건 앙성 프레임워크는 어떻게 구성할 수 있는가?
• RQ5 강건 앙성 접근법은 표준 신경망과 다른 최적화 문제로 얼마나 일반화될 수 있는가?

주요 결과

• 이산 가중치 네트워크의 가중치 공간 내에 매우 조밀하고 접근 가능한 영역이 존재함으로써 빈약한 국소 최소값을 피할 수 있는 메커니즘이 제공된다.
• 강건 앙성(RE) 측정치는 고립된 비최적 구성에 효과적으로 억제하고 가중치 공간 내 고밀도 영역을 부각시킨다.
• 정확히 해석 가능한 모델에서 RE를 분석적으로 계산함으로써 이론적 타당성과 강건성을 확인할 수 있다.
• 제안된 알고리즘 프레임워크는 경사 하강법, 마르코프 체인, 메시지 전달 등 다양한 학습 방법에서 상당한 성능 향상을 이끌어낸다.
• 성능가 가중치 정밀도에 대해 약한 의존성을 보이며, 이는 연속 가중치를 가진 표준 신경망에도 유사한 원칙이 적용될 가능성이 있음을 시사한다.
• 프레임워크는 일반화 가능하며 신경망을 초월한 다른 최적화 문제에 적용할 수 있다.