[논문 리뷰] Understanding the Loss Surface of Neural Networks for Binary Classification

Shiyu Liang, Ruoyu Sun외 2명|arXiv (Cornell University)|2018. 02. 19.

Neural Networks and Applications참고 문헌 27인용 수 32

한 줄 요약

이 논문은 이진 분류에서 신경망의 서로 가설 손실 함수의 모든 국소 최솟값이 훈련 오차 0을 달성할 조건을 규명한다. 증가하는 엄격히 볼록한 뉴런, 단일층 또는 스킵 연결이 있는 다층 구조, 그리고 부드러운 힌지 손실을 사용할 경우, 모든 국소 최솟값이 완벽한 훈련 성능을 보임을 보여주며, 이는 이진 분류에서 SGD의 경험적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

It is widely conjectured that the reason that training algorithms for neural networks are successful because all local minima lead to similar performance, for example, see (LeCun et al., 2015, Choromanska et al., 2015, Dauphin et al., 2014). Performance is typically measured in terms of two metrics: training performance and generalization performance. Here we focus on the training performance of single-layered neural networks for binary classification, and provide conditions under which the training error is zero at all local minima of a smooth hinge loss function. Our conditions are roughly in the following form: the neurons have to be strictly convex and the surrogate loss function should be a smooth version of hinge loss. We also provide counterexamples to show that when the loss function is replaced with quadratic loss or logistic loss, the result may not hold.

연구 동기 및 목표

• 확률적 경사하강법이 이진 분류를 위한 딥 신경망 학습에 성공하는 이유를 이론적으로 설명하기 위해.
• 표본 손실 함수의 모든 국소 최솟값이 훈련 오차 0을 달성할 조건을 규명하기 위해.
• 모든 국소 최솟값에서 훈련 오차가 0이 되지 않을 수 있는 이차 손실 함수를 넘어서기 위해.
• 표준 이차 손실 대신 부드러운 힌지 손실 함수를 사용하여 신경망의 손실 표면을 분석하기 위해.
• 힌지 유형의 손실을 사용할 경우 오버파라미터화 없이도 모든 국소 최솟값에서 훈련 오차가 0이 되도록 보장할 수 있는지 확인하기 위해.

제안 방법

• 최적화에 적합한 미분 가능성을 확보하기 위해 힌지 손실 기반의 부드러운 대체 손실 함수를 정의한다.
• 손실 표면의 유리한 기하적 성질을 확보하기 위해 증가하고 엄격히 볼록한 활성화 함수를 갖는 신경망을 사용한다.
• 일阶 최적성 조건과 임계점 주변의 타일러 전개를 이용해 국소 최솟값에서 손실 함수의 행동을 분석한다.
• 조건을 완화할 경우(예: 비볼록 뉴런 또는 스킵 연결 없음) 국소 최솟값이 비영 훈련 오차를 가질 수 있음을 보여주는 반례를 제시한다.
• 지정된 조건 하에서 어떤 국소 최솟값이라도 훈련 오차가 0이 되어야 한다는 것을 보여주며, 이러한 점들에서 손실이 더 이상 감소할 수 없음을 증명한다.
• 임계값 단위를 갖는 이중층 네트워크를 구성하여 데이터 분포의 이산적 근사를 시도하며, 조건이 위반되었을 경우 국소 최솟값이 비영 오차를 가질 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 이진 분류에서 표본 손실 함수의 모든 국소 최솟값이 훈련 오차 0을 달성할 조건은 무엇인가?
• RQ2 힌지 유형의 손실 함수를 사용할 경우 오버파라미터화 없이도 모든 국소 최솟값에서 훈련 오차가 0이 되도록 보장할 수 있는가?
• RQ3 활성화 함수의 성질(예: 볼록성, 단조성)이 손실 표면의 기하학적 특성에 어떤 영향을 미치는가?
• RQ4 네트워크에 스킵 연결이 없거나 비볼록 뉴런을 사용할 경우 훈련 오차는 어떻게 되는가?
• RQ5 주요 결과를 위해 선형 분리 가능성 또는 부분공간 분리 가정이 필수적인가?

주요 결과

• 활성화 함수가 증가하고 엄격히 볼록하며, 네트워크가 단일층 또는 스킵 유사 연결을 갖는 경우, 부드러운 힌지 손실일 때 모든 국소 최솟값이 훈련 오차 0을 달성한다.
• 반례를 통해 조건을 완화할 경우(예: 비볼록 또는 증가하지 않는 뉴런 사용) 국소 최솟값이 비영 훈련 오차를 가질 수 있음을 보여준다.
• 결과는 데이터가 선형으로 분리 가능하거나 양성 및 음성 샘플이 서로 겹치지 않는 부분공간에 위치할 경우에 성립한다.
• 모든 변형이 국소 최솟값 주변에서 손실을 감소시킬 수 없음을 보여줌으로써, 손실이 해당 점에서 오차 0으로 국소 최소화됨을 증명한다.
• 임계값 단위를 갖는 이중층 네트워크의 구성은 이론적 조건이 위반되었을 경우 국소 최솟값이 비영 오차를 가질 수 있음을 보여준다.
• 분석 결과, 이차 손실 함수는 글로벌 최솟값에서도 잘못 분류 오차가 0이 되지 않을 수 있음을 보여주며, 이는 이 맥락에서 힌지 유형의 손실이 유리함을 시사한다.