[논문 리뷰] Global optimality conditions for deep neural networks

Chulhee Yun, Suvrit Sra외 1명|arXiv (Cornell University)|2017. 07. 08.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 56

한 줄 요약

이 논문은 심층 선형 네트워크에 대한 필요충분 글로벌 최적성 조건을 도출하고, 함수 공간 프레임워크 하에서 비선형 네트워크에 대해 유사한 결과를 확장하며, 글로벌 최소점과 고점(saddle point)을 구분할 수 있는 효율적으로 검토 가능한 테스트를 제시한다.

ABSTRACT

We study the error landscape of deep linear and nonlinear neural networks with the squared error loss. Minimizing the loss of a deep linear neural network is a nonconvex problem, and despite recent progress, our understanding of this loss surface is still incomplete. For deep linear networks, we present necessary and sufficient conditions for a critical point of the risk function to be a global minimum. Surprisingly, our conditions provide an efficiently checkable test for global optimality, while such tests are typically intractable in nonconvex optimization. We further extend these results to deep nonlinear neural networks and prove similar sufficient conditions for global optimality, albeit in a more limited function space setting.

연구 동기 및 목표

• 딥 네트워크의 비볼록 손실 지형에 대한 이론적 이해를 촉진한다.
• 딥 선형 네트워크에서 글로벌 최소값에 대한 필요충분 조건을 제공한다.
• 함수 공간 관점에서 딥 비선형 네트워크에 대한 글로벌 최적성 결과를 확장한다.
• 최적화 중에 글로벌 최소값과 사다점(saddle point)을 구분하기 위한 효율적으로 계산 가능한 테스트를 제공한다.
• 깊이(depth), 잔차(residuals), 선형 대 비선형 설정에 대한 이전 연구와의 연결고리를 제시한다.

제안 방법

• 심층 선형 네트워크의 경험적 위험을 L(W) = 1/2 ||W_{H+1}...W_1 X - Y||_F^2로 형식화하고 그 임계점을 연구한다.
• 랭크(R) ≤ k인 이완 표현 L_0(R) = 1/2 ||RX - Y||_F^2를 도입하여 네트워크 출력과 낮은 랭크 근사(low-rank approximations)를 연결한다.
• 글로벌 최적성에 대한 필요충분 조건을 도출: k = min{dx, dy}일 때, W_{H+1}...W_1의 랭크가 k인 임계점은 글로벌 최소값이며, 이 집합 밖의 점은 사다점이다. k < min{dx, dy}인 경우, YX^T(XX^T)^{-1}X의 특이값 분해(SVD)로부터 얻은 hat{U}에 대한 열공간 정합(일치) 조건을 도입한다.
• 임계점을 특성화하기 위해 각 W_i에 대한 L(W)의 도함수를 제공한다.
• 함수 공간 프레임워크를 통해 비선형 설정으로 확장하고, Frechet 도함수와 야코비 행렬을 사용하여 특정 블록에서 층 함수가 거의 항등이거나 가역일 때 글로벌 최적성에 대한 충분조건을 얻는다.
• 비선형 결과가 선형 결과를 일반화하고 잔차 네트워크 분석과의 연결성을 보인다.

실험 결과

연구 질문

• RQ1 딥 선형 네트워크 손실의 임계점이 어떤 조건에서 전역 최적인지?
• RQ2 레이어 곱의 랭크 및 부분공간 조건을 이용해 전역 최소값과 사다점을 효율적으로 구분할 수 있는가?
• RQ3 개체 위험(population risk) 및 함수 공간 접근법을 통한 비선형 네트워크로의 확장은 어떻게 되는가?
• RQ4 함수 공간 설정에서 비선형 네트워크에 대해 글로벌 최적성을 보장하는 실용적인 충분조건은 무엇인가?

주요 결과

• 깊은 선형 네트워크의 경우, 모든 가중치 행렬의 곱이 가장 작은 층 너비와 같은 전범위(full rank)을 갖는다면 모든 임계점은 글로벌 최소값이고 이 집합 밖의 점은 사다점이다.
• 최소 층 너비 k가 입력/출력 차원보다 작으면, YX^T(XX^T)^{-1}X의 상위 k 특이 벡터를 이용한 부분공간 정렬 조건이 만족될 때 글로벌 최소값을 얻고, 그렇지 않으면 임계점은 사다점이다.
• 이완 L_0(R)는 제약이 없는 경우의 고유의 글로벌 최적점 R^*과 제약 조건 하의 투영을 식별함으로써 글로벌 최적성을 보이는 다리를 제공한다.
• 비선형 설정에서 두 정리는 야코비안 성질과 특정 서브네트워크 구성의 가역성에 근거하여 임계점에서의 글로벌 최적성에 대한 충분조건을 제시한다; 이는 선형 결과를 함수 공간 관점으로 확장한다.
• 사례들(corollaries)은 개체 위험과 잔차 네트워크 분석을 제안된 선형 결과와 연결하여 이전 연구(Hardt & Ma, Bartlett 등)와의 일관성을 보인다.
• 이 접근법은 일반 비볼록 최적화에서 일반적으로 해석하기 어려운 글로벌 최적성에 대해 효율적으로 확인 가능한 기준을 제시한다.