[논문 리뷰] Adding One Neuron Can Eliminate All Bad Local Minima

Shiyu Liang, Ruoyu Sun외 2명|arXiv (Cornell University)|2018. 05. 22.

Machine Learning and Algorithms참고 문헌 25인용 수 50

한 줄 요약

이 논문은 이진 분류를 위한 신경망에서 단일 특수 뉴런(스킵 연결 포함)과 정규화가 모든 나쁜 국소최소를 제거한다는 것을 증명한다; 각 국소 최소는 전역최소이며, 최적 지점에서 증강된 뉴런은 비활성화된다.

ABSTRACT

One of the main difficulties in analyzing neural networks is the non-convexity of the loss function which may have many bad local minima. In this paper, we study the landscape of neural networks for binary classification tasks. Under mild assumptions, we prove that after adding one special neuron with a skip connection to the output, or one special neuron per layer, every local minimum is a global minimum.

연구 동기 및 목표

• 이진 분류를 위한 신경망에서 비볼록 손실 지형의 난이도를 동기 부여한다.
• 나쁜 국소 최소가 없는 손실 평면을 얻는 신경망의 구조적 수정 제안.
• 약한 가정하에 국소 최소가 전역적으로 최적의 학습 손실 및 오분류 성능에 대응함을 확립한다.
• 스킵 연결, 계층별 증강 및 대안 뉴런 유형을 갖는 아키텍처에 대한 확장을 탐구한다.

제안 방법

• 이진 분류를 위한 표준 아키텍처와 손실을 갖는 신경망 f를 정의한다.
• augmented 모델 ǀtilde{f}(x, ǀtilde{θ}) = f(x; ɷθ) + a exp(w^T x + b)와 a에 대한 2차 정규화항(즉, lambda a^2/2)을 도입한다.
• ̃L_n의 어떤 국소 최소도 전역이다를 증명한다.
• 모든 국소 최소에서 지수 뉴런이 비활성화되어 ̃f가 f와 동등해짐을 보인다.
• 특정 조건하에 각 계층에 지수 뉴런이 추가된 아키텍처 및 다항식 뉴런 대체에 결과를 확장한다.
• 스킵-연결 뷰 제거, 다항식 뉴런 사용, 볼록 손실하에서 비실현 가능한 데이터 처리 등 확장을 제시한다.

실험 결과

연구 질문

• RQ1 정규화가 있는 단일 특수 뉴런을 추가하는 것이 이진 분류 네트워크에서 모든 나쁜 국소 최소를 제거할 수 있는가?
• RQ2 다른 뉴런 유형을 사용하여 스킵 연결이나 계층별 증강을 갖는 구조에 결과가 확장되는가?
• RQ3 손실, 데이터 실현가능성, 활성화 함수에 대한 어떤 조건들이 가짜 국소 최소의 부재를 보장하는가?
• RQ4 비매끄러운 활성화(예: ReLU)나 다항식/단항 증강에 대해서도 결과가 성립하는가?
• RQ5 이 증강들 하에서 고차 정지점이 전역 최적성과 어떤 관계가 있는가?

주요 결과

• 손실 및 실현가능성에 대한 약한 가정하에, 지수 뉴런과 2차 정규화항을 추가하면 나쁜 국소 최소가 없다.
• 모든 국소 최소에서 증강 지수 뉴런은 비활성화되어 원래 네트워크가 이미 전역 최솟값을 달성한다.
• 적절한 차수 조건 아래 각 계층에 지수 뉴런이 추가된 아키텍처 및 모노미얼 뉴런에 결과가 확장된다.
• 국소 최소에서 증강 네트워크와 원래 네트워크의 동등성 및 원래 네트워크의 표현력을 보존한다는 귀결이 있다.
• 이 프레임워크는 일반 신경망 아키텍처 및 ReLU 유사 함수 포함 다양한 활성화 유형에 적용된다.