[논문 리뷰] Deep linear neural networks with arbitrary loss: All local minima are global

Thomas Laurent, James von Brecht|arXiv (Cornell University)|2017. 12. 05.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 10

한 줄 요약

이 논문은 깊이 있는 선형 신경망에서 어떤 볼록 미분 가능 손실 함수를 사용할 때, 가장 좁은 은닉층의 너비가 입력층 또는 출력층의 너비와 같거나 더 넓을 경우, 모든 국소 최소값이 전역 최소값임을 증명한다. 증명은 특이값 분해를 활용한 간단한 행렬 분해 추론에 기반하며, 이러한 너비 조건 하에서는 전역 최소값이 아닌 국소 최소값이 존재할 수 없음을 보이고, 손실 함수의 미분 가능성의 중요성을 입증한다. 비미분 가능한 볼록 손실 함수는 최적 해보다 열 劣한 국소 최소값을 유도할 수 있다.

ABSTRACT

We consider deep linear networks with arbitrary convex differentiable loss. We provide a short and elementary proof of the fact that all local minima are global minima if the hidden layers are either 1) at least as wide as the input layer, or 2) at least as wide as the output layer. This result is the strongest possible in the following sense: If the loss is convex and Lipschitz but not differentiable then deep linear networks can have sub-optimal local minima.

연구 동기 및 목표

• 깊이 있는 선형 신경망에서 볼록이고 미분 가능한 손실 함수를 사용할 때, 최적 해보다 열 劣한 국소 최소값이 존재할 수 있는지 여부를 규명하는 것.
• 국소 최소값이 항상 전역 최소값이 되도록 보장하는 최소한의 구조적 조건을 규명하는 것.
• 손실 함수의 미분 가능성은 최적 해보다 열 劣한 국소 최소값이 존재하지 않는 데 필수적인 조건임을 입증하는 것.
• 고급 최적화 이론을 사용하지 않고 기초 선형 대수학과 특이값 분해만을 활용해 짧고 간단한 증명을 제공하는 것.

제안 방법

• 깊이 있는 선형 신경망을 행렬 곱의 조합으로 기술한다: $\hat{\mathbf{y}}^{(i)} = W_L \cdots W_1 \mathbf{x}^{(i)}$.
• 최적화 문제를 볼록이고 미분 가능한 손실 함수 $\mathcal{L}(W_1, \ldots, W_L) = \frac{1}{N}\sum_i \ell(\hat{\mathbf{y}}^{(i)}, \mathbf{y}^{(i)})$ 를 최소화하는 것으로 설정한다.
• 특이값 분해(SVD) 기반의 행렬 분해 추론을 적용하여, 일阶 최적성 조건을 만족하는 임의의 임계점이 반드시 전역 최적임을 보인다.
• 가장 좁은 은닉층의 너비가 입력층 또는 출력층의 너비와 같거나 더 넓을 경우, 전역 최적성에 필요한 전 Rank 유지 구조를 유지할 수 있음을 보여준다.
• 비미분 가능한 볼록 손실 함수(예: $f(x,y) = |x| + (1-y)_+ - 1$)를 사용한 반례를 제시하여, 미분 가능성에 실패할 경우 최적 해보다 열 劣한 국소 최소값이 존재할 수 있음을 보인다.
• 최적 해보다 열 劣한 국소 최소값이 존재하지 않는 것은 임계점에서 유일한 기울기가 존재하는 데에 크게 의존하며, 비미분 가능한 함수의 경우 다중값의 하위도함수(subdifferential)가 존재해 최적화가 열 劣한 해에 갇힐 수 있음을 설명한다.

실험 결과

연구 질문

• RQ1 네트워크의 너비와 손실 함수에 어떤 조건이 성립할 경우 깊이 있는 선형 신경망에서 모든 국소 최소값이 전역 최소값이 되는가?
• RQ2 깊이 있는 선형 신경망에서 최적 해보다 열 劣한 국소 최소값이 존재하지 않는 것은 손실 함수의 미분 가능성에 의존하는가?
• RQ3 고급 최적화 이론을 사용하지 않고도 깊이 있는 선형 신경망에서 국소 최소값의 전역 최적성에 대해 간단하고 기초적인 증명을 구성할 수 있는가?
• RQ4 손실 함수가 볼록이지만 비미분 가능할 경우 최적화 지형은 어떻게 변화하는가?
• RQ5 가장 좁은 은닉층의 너비가 입력층 또는 출력층의 너비와 같거나 더 넓을 때가 국소 최소값의 전역 최적성에 필수적인가?

주요 결과

• 손실 함수가 볼록이고 미분 가능하며, 가장 좁은 은닉층의 너비가 입력층 또는 출력층의 너비와 같거나 더 넓을 경우, 깊이 있는 선형 신경망에서 모든 국소 최소값이 전역 최소값이 된다.
• 증명은 특이값 분해와 기본적인 행렬 미적분학만을 사용하여 고급 최적화 도구 없이도 접근 가능하며, 간단하고 기초적인 수준에서 이해할 수 있다.
• 결과는 날카롭게 조건화되어 있다: 손실 함수가 볼록하고 리프시츠 조건을 만족하지만 비미분 가능할 경우, 반례를 통해 최적 해보다 열 劣한 국소 최소값이 존재할 수 있음을 보였다. 예를 들어 $f(x,y) = |x| + (1-y)_+ - 1$.
• 너비 조건은 필수적이다: 입력층과 출력층보다 더 좁은 은닉층이 하나라도 존재할 경우, 전 Rank 행렬을 복원할 수 없으며, 이로 인해 최적 해보다 열 劣한 국소 최소값이 발생할 수 있다.
• 최적 해보다 열 劣한 국소 최소값이 존재하지 않는 것은 임계점에서 기울기가 유일하게 존재하는 데에 크게 의존한다. 비미분 가능한 함수의 경우 다중값의 하위도함수가 존재해 최적화 과정이 최적 해보다 열 劣한 해에 갇힐 수 있다.
• 결과는 평균 제곱 오차를 넘어서 어떤 볼록이고 미분 가능한 손실 함수로도 일반화되며, 이전 연구와 달리 데이터나 목표 랭크에 대한 가정이 필요하지 않다.