[논문 리뷰] On the Connection Between Learning Two-Layers Neural Networks and Tensor Decomposition

Marco Mondelli, Andrea Montanari|arXiv (Cornell University)|2018. 02. 20.

Tensor decomposition and applications참고 문헌 36인용 수 23

한 줄 요약

이 논문은 다항 활성화 함수를 가진 두 층으로 이루어진 ReLU 유사 신경망을 학습하는 데 있어 계산적 난이도 결과를 확립한다. 문제를 텐서 분해로 환원함으로써, 3차 텐서 분해에 대해 최소한의 제약 조건이 있는 다항 시간 알고리즘이 존재하지 않는다는 복잡도 이론적 가정 하에, 표준 정규 분포 데이터와 무작위 등방향 가중치를 가진 조건에서, 숨겨진 뉘앙스 수 $ r $ 가 $ d^{3/2} \ll r \ll d^2 $ 를 만족할 경우, 어떤 효율적인 학습 알고리즘도 단순 평균 예측자(즉, 응답의 평균)보다 더 잘 일반화할 수 없음을 증명한다.

ABSTRACT

We establish connections between the problem of learning a two-layer neural network and tensor decomposition. We consider a model with feature vectors $\boldsymbol x \in \mathbb R^d$, $r$ hidden units with weights $\{\boldsymbol w_i\}_{1\le i \le r}$ and output $y\in \mathbb R$, i.e., $y=\sum_{i=1}^r σ( \boldsymbol w_i^{\mathsf T}\boldsymbol x)$, with activation functions given by low-degree polynomials. In particular, if $σ(x) = a_0+a_1x+a_3x^3$, we prove that no polynomial-time learning algorithm can outperform the trivial predictor that assigns to each example the response variable $\mathbb E(y)$, when $d^{3/2}\ll r\ll d^2$. Our conclusion holds for a `natural data distribution', namely standard Gaussian feature vectors $\boldsymbol x$, and output distributed according to a two-layer neural network with random isotropic weights, and under a certain complexity-theoretic assumption on tensor decomposition. Roughly speaking, we assume that no polynomial-time algorithm can substantially outperform current methods for tensor decomposition based on the sum-of-squares hierarchy. We also prove generalizations of this statement for higher degree polynomial activations, and non-random weight vectors. Remarkably, several existing algorithms for learning two-layer networks with rigorous guarantees are based on tensor decomposition. Our results support the idea that this is indeed the core computational difficulty in learning such networks, under the stated generative model for the data. As a side result, we show that under this model learning the network requires accurate learning of its weights, a property that does not hold in a more general setting.

연구 동기 및 목표

• 표준 데이터 분포 하에서 다항 활성화 함수를 가진 두 층 신경망의 계산 복잡도를 조사하는 것.
• 숨겨진 뉘앙스 수 $ r $ 가 $ d^{3/2} $ 와 $ d^2 $ 사이로 증가하는 고차원 영역에서 이러한 모델에 대해 효율적인 학습 알고리즘이 존재하는지 확인하는 것.
• 학습 문제와 텐서 분해 사이의 공식적 연결 고리를 수립하여, 후자가 핵심 계산적 장벽임을 보여주는 것.
• 기존의 텐서 분해 기반 알고리즘이 힌트를 넘어서는 것이 아니라, 복잡도 이론적 가정 하에 실제로 최적일 수 있음을 제시하는 것.
• 이 모형 하에서 정확한 가중치 복원이 학습에 필수적임을 공식적으로 입증하는 것, 이는 더 일반적인 설정에서는 보장되지 않는 성질이다.

제안 방법

• 두 층 신경망 학습 문제를, 네트워크의 가중치 벡터로부터 구성된 대칭 3차 텐서의 분해 문제로 환원한다.
• 독립 동일분포 표준 정규 특징 벡터 $ \mathbf{x} \sim \mathcal{N}(0, I_d/d) $ 와 출력 $ y = \sum_{i=1}^r \sigma(\mathbf{w}_i^T \mathbf{x}) $ 를 가지는 생성 모형을 사용한다. 여기서 $ \sigma $ 는 저차수 다항식이다.
• 복잡도 이론적 가정을 도입한다: 3차 텐서 분해에서 $ \epsilon $-정확도를 확보하는 데 있어, 합의 제곱(SoS) 계층 구조를 초월하는 다항 시간 알고리즘이 존재하지 않는다.
• 출력의 노이즈 버전을 구성하기 위해, 이를 텐서 모멘트의 합으로 표현하고, 허들러 부등식과 내적 감쇠를 통해 오차 항을 유계로 제한한다.
• 상호작용이 작은 $ \delta $-상관 가중치(작은 상대 내적)의 경우, 텐서 전개의 비대각 항이 작아지므로 제어 가능한 근사가 가능하다는 사실을 활용한다.
• 환원 논증을 적용한다: 만약 효율적인 학습 알고리즘이 존재한다면, 이를 통해 어려운 텐서 분해 문제를 해결할 수 있으며, 이는 가정에 모순된다.

실험 결과

연구 질문

• RQ1 표준 정규 분포 데이터와 무작위 등방향 가중치 조건 하에서 다항 활성화 함수를 가진 두 층 신경망은 다항 시간 내에 학습될 수 있는가?
• RQ2 텐서 분해는 이러한 네트워크 학습의 근본적인 계산적 장벽인가?
• RQ3 학습이 계산적으로 비가능해지는 모델 복잡도의 범위(즉, $ r $ 와 $ d $ 의 관계)는 무엇인가?
• RQ4 제시된 가정 하에 $ r \ll d^2 $ 이고 $ r \gg d^{3/2} $ 일 때, 단순 평균 예측자(응답의 평균)가 여전히 최적일 수 있는가?
• RQ5 이 생성 모형 하에서 정확한 가중치 복원의 필요성을 공식적으로 입증할 수 있는가?

주요 결과

• 합의 제곱 계층 구조를 초월하는 3차 텐서 분해에 대해 다항 시간 알고리즘이 존재하지 않는다는 가정 하에, $ d^{3/2} \ll r \ll d^2 $ 일 때 어떤 효율적인 학습 알고리즘도 단순 평균 예측자보다 더 잘 일반화할 수 없다.
• 이 난이도 결과는 무한한 샘플과 정확한 기대값에 접근할 수 있는 조건에서도 성립하므로, 이는 순수하게 계산적 문제이며 통계적 문제와는 무관하다.
• 두 층 신경망 학습과 텐서 분해 사이의 연결 고리는 우연이 아니다. 기존의 보장이 있는 알고리즘들이 실제로 모두 텐서 분해에 기반하고 있음을 보여주며, 이것이 핵심 계산적 과제임을 시사한다.
• 3차 다항 활성화 함수의 경우, 네트워크 출력은 텐서 모멘트의 합으로 표현되며, 주요 항은 네트워크에 해당하고 작은 오차 항은 $ \delta^{k(p-1)} $ 로 유계로 제한된다. 여기서 $ \delta $ 는 가중치 상관관계를 제어한다.
• 출력 근사의 오차 항은 $ (\delta^m r)^{p-1} \sum_k c_k \sum_i |\langle \mathbf{w}_i, \mathbf{x}_j \rangle|^{p(\ell - (p-1)k)} $ 로 유계로 제한되며, 이는 $ \delta $ 가 작고 $ r $ 가 너무 크지 않을 경우에 무시할 수 있을 정도로 작다.
• 이 논문은 이 모형 하에서 정확한 가중치 복원이 학습에 필수적임을 증명한다. 이 성질은 데이터 분포가 제약되지 않은 더 일반적인 설정에서는 보장되지 않는다.