[논문 리뷰] Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods

Majid Janzamin, Hanie Sedghi외 1명|arXiv (Cornell University)|2015. 06. 28.

Tensor decomposition and applications참고 문헌 49인용 수 146

한 줄 요약

이 논문은 비볼록성 문제를 극복하기 위해 텐서 분해를 활용한 텐서 기반 방법인 NN-LIFT를 제안한다. 두 층으로 이루어진 신경망의 보장된 학습을 가능하게 하며, 다항 수준의 표본 복잡도로 전역 수렴을 달성하고, 약간의 비퇴화 조건 하에서 증명 가능한 리스크 경계를 제공한다. 기울기 기반 방법에 비해 국소 최적해를 피하면서도 SGD와 유사한 계산 효율성을 유도한다.

ABSTRACT

Training neural networks is a challenging non-convex optimization problem, and backpropagation or gradient descent can get stuck in spurious local optima. We propose a novel algorithm based on tensor decomposition for guaranteed training of two-layer neural networks. We provide risk bounds for our proposed method, with a polynomial sample complexity in the relevant parameters, such as input dimension and number of neurons. While learning arbitrary target functions is NP-hard, we provide transparent conditions on the function and the input for learnability. Our training method is based on tensor decomposition, which provably converges to the global optimum, under a set of mild non-degeneracy conditions. It consists of simple embarrassingly parallel linear and multi-linear operations, and is competitive with standard stochastic gradient descent (SGD), in terms of computational complexity. Thus, we propose a computationally efficient method with guaranteed risk bounds for training neural networks with one hidden layer.

연구 동기 및 목표

• 신경망 학습에서 기울기 기반 방법이 허구적 국소 최적해로 인해 실패하는 비볼록 최적화의 근본적 과제를 해결하기 위해.
• 일반적인 입력 및 활성화 함수 하에서 두 층 신경망에 대해 증명 가능한 리스크 경계를 갖는 계산 효율적인 학습 알고리즘을 개발하기 위해.
• 학습 가능성 보장 조건을 명확하고 검증 가능한 형태로 설정하여 악성 경우의 NP-난해 문제를 극복하기 위해.
• 텐서 분해를 모멘트 방법과 융합하여 저랭크 텐서 근사 기반 전역 최적화를 가능하게 하기 위해.

제안 방법

• 이 방법은 입력과 출력 사이의 고차 모멘트 텐서(특히, 제3차 교차모멘트)를 사용하여 네트워크 파라미터에 대한 정보를 추출한다.
• 이를 위해 CANDECOMP/PARAFAC(CP) 텐서 분해를 적용하여 모멘트 텐서의 잠재적 저랭크 구조를 추정하고, 분해 결과로부터 네트워크 가중치를 복원한다.
• 활성화 함수의 푸리에 변환을 활용해 데이터의 관련 통계적 구조를 캡처하는 특징 텐서를 구성한다.
• 분해된 구성요소에 릿지 회귀를 적용하여 출력층 가중치를 추정함으로써 근사 및 표본 노이즈 하에서 안정성을 확보한다.
• 이 방법은 매우 병렬화가 가능하며, 선형 대수와 다중선형 연산만을 사용하므로 확장성과 효율성이 뛰어나다.
• 핵심 요소로는 가우시안 입력 하에서 스코어 함수와 에르미트 다항식 전개를 활용해 제3차 모멘트 텐서를 모델링하는 것이다.

실험 결과

연구 질문

• RQ1 두 층 신경망을 위한 학습 알고리즘을 설계할 수 있을까? 이 알고리즘은 국소 최적해를 피하고 전역 해로 수렴하는가?
• RQ2 목표 함수와 입력 분포에 어떤 조건이 성립해야 네트워크가 다항 수준의 표본 복잡도로 학습 가능한가?
• RQ3 텐서 분해는 비선형 활성화 함수를 갖는 신경망에 어떻게 적응시킬 수 있는가?
• RQ4 제안된 방법의 리스크 경계는 무엇이며, 입력 차원, 뉴런 수, 표본 크기와 어떻게 척도가 맞는가?
• RQ5 이론적 보장을 유지하면서도 계산 효율성을 확보할 수 있는가?

주요 결과

• 표본 크기가 $ n \geq \tilde{O}(\zeta_f / (\psi \tilde{\epsilon}_2^2)) $ 를 만족할 경우, NN-LIFT 알고리즘이 고확률적으로 $ O(\tilde{\theta}_2) $ 의 리스크 경계를 달성한다. 여기서 $ \zeta_f = \int_{\mathbb{R}^d} f(x)^2 dx $ 이다.
• 동일한 표본 복잡도 조건 하에서 추정 오차는 $ |e_{\text{est.}}| \leq O(\tilde{\epsilon}_2) $ 로 유계이다.
• 근사 오차는 $ |e_{\text{apx.}}| \leq \frac{1}{\psi} O(rC_f) \cdot \left( \frac{1}{\sqrt{k}} + \delta_1 \right) $ 로 유계이며, $ C_f \leq \frac{1}{r} \left( \frac{1}{\sqrt{k}} + \delta_1 \right)^{-1} \cdot O(\psi \tilde{\epsilon}_2) $ 로 설정함으로써 제어할 수 있다.
• 가우시안 입력과 스텝 함수 활성화를 갖는 경우, 특징 행렬 $ A_1 $ 의 특이값 비율은 $ \frac{s_{\min}(A_1)}{s_{\max}(A_1)} \geq O(1) $ 를 만족하며, 이는 $ k = Cd $ 이고 $ C < 1 $ 이 작은 경우에 안정적인 분해를 보장한다.
• 약간의 비퇴화 조건 하에서 입력 차원 $ d $, 뉴런 수 $ k $, 네트워크 폭에 대해 다항 수준의 표본 복잡도로 유계 리스크를 달성한다.
• 알고리즘은 계산적으로 효율적이며, 복잡도 면에서 SGD와 경쟁 가능하며, 텐서 분해를 통한 전역 수렴을 보장한다.