[논문 리뷰] Provable Bounds for Learning Some Deep Representations

Sanjeev Arora, Aditya Bhaskara외 2명|arXiv (Cornell University)|2013. 10. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 241

한 줄 요약

이 논문은 레이어별 학습과 상관 기반 그래프 복구를 사용하여 무작위 가중치와 유한 차수를 가진 딥 네트워크를 증명 가능하게 효율적으로 학습하는 알고리즘을 제시한다. 거의 모든 이러한 네트워크가 다항 시간 내에 이차 또는 삼차 샘플 복잡도로 학습 가능하다는 것을 보여주며, 약간의 가정 하에 희박한 연결성을 가진 무작위 딥 넷이 학습 가능하다는 것을 확립한다.

ABSTRACT

We give algorithms with provable guarantees that learn a class of deep nets in the generative model view popularized by Hinton and others. Our generative model is an $n$ node multilayer neural net that has degree at most $n^γ$ for some $γ<1$ and each edge has a random edge weight in $[-1,1]$. Our algorithm learns {\em almost all} networks in this class with polynomial running time. The sample complexity is quadratic or cubic depending upon the details of the model. The algorithm uses layerwise learning. It is based upon a novel idea of observing correlations among features and using these to infer the underlying edge structure via a global graph recovery procedure. The analysis of the algorithm reveals interesting structure of neural networks with random edge weights.

연구 동기 및 목표

• 표준 학습에서 NP-난이도 문제에 직면한 상황에서 생성 모델 프레임워크 내에서 딥 네트워크 학습에 대한 이론적 보장을 제공한다.
• 랜덤이고 희박한 연결성과 [-1,1] 범위의 랜덤 엣지 가중치를 가정하여 딥 넷 학습의 암호학적 난이도 장벽을 극복한다.
• 하나의 레이어에서의 활성화 출력 샘플들로부터 기반 네트워크의 구조를 효율적으로 복구하는 레이어별 학습 알고리즘을 개발한다.
• 이러한 랜덤이고 희박한 딥 넷이 낮은 샘플 복잡도와 다항 시간 런타임으로 증명 가능하게 학습 가능하다는 것을 입증한다.
• 단일 레이어 네트워크에서는 재현할 수 없는 구조적 상쇄 효과 때문에, 임의의 가중치를 가진 단일 레이어 네트워크보다 두 레이어 네트워크가 더 표현력이 뛰어나다는 것을 보여준다.

제안 방법

• 각 노드가 아래와 위로 최대 $ n^\gamma $개의 노드에 영향을 주며, $ \gamma < 1 $이므로 희박성을 보장하는 생성 모델을 사용한다.
• 랜덤 그래프 구조와 [-1,1] 범위의 랜덤 엣지 가중치를 가정하여 기능 간 상관관계의 확률적 분석이 가능하도록 한다.
• 레이어별 학습: 하위 레이어는 비지도 학습으로 학습되고, 그 은닉 표현은 다음 레이어를 학습하는 데 사용된다.
• 다양한 레이어 간 기능 간 상관관계를 관찰하여 기반 엣지 구조를 추론하는 전역 그래프 복구 절차를 적용한다.
• 유일한 공통 이웃을 가진 노드 쌍은 그렇지 않은 경우보다 상당히 높은 활성화 상관관계를 보임을 활용한다.
• 희박성과 랜덤 가중치 가정 하에 고차 모멘트(예: $ \mathbb{E}[y_u y_v y_s] $)를 유한하게 제한하기 위해 선형 대수학과 농도 부등식을 사용한다.

실험 결과

연구 질문

• RQ1 랜덤 가중치와 희박한 연결성을 가진 딥 네트워크를 증명 가능한 알고리즘으로 학습할 수 있는가?
• RQ2 네트워크의 어떤 구조적 가정(예: 희박성, 랜덤 가중치) 하에서 효율적 학습이 가능해지는가?
• RQ3 왜 $\pm1$ 가중치를 가진 두 레이어 네트워크가 임의의 가중치를 가진 단일 레이어 네트워크보다 더 표현력이 뛰어나게 되는가?
• RQ4 하나의 레이어에서의 기능 간 상관 패턴을 이용해 딥 넷의 기반 그래프 구조를 복구할 수 있는가?
• RQ5 이러한 생성 모델을 고확률적으로 학습하기 위해 필요한 샘플 복잡도와 런타임은 얼마인가?

주요 결과

• 알고리즘이 지정된 클래스에 속하는 거의 모든 딥 네트워크를 다항 시간 내에 이차 또는 삼차 샘플 복잡도로 학습한다.
• 두 레이어 네트워크에 $\pm1$ 가중치를 사용할 경우, 단일 레이어 네트워크가 출력을 일치시키지 못할 확률은 최소 $ \Omega(\rho_3^2) $ 이상이며, 이는 더 높은 표현력의 증명이 된다.
• $ \rho_1 d = O(1) $ 이고 $ d = \Omega(\log^2 n) $ 이면, $ u,v,s $ 가 유일한 공통 이웃을 가진 경우 기대 삼중 상관 $ \mathbb{E}[y_u y_v y_s] $ 는 최소 $ 2\rho_1/3 $ 이며, 그렇지 않은 경우 최대 $ \rho_1/3 $ 이다.
• 랜덤이고 희박한 연결성에 의해 유도된 제어된 상관 구조 덕분에 네트워크 구조는 고확률로 복구 가능하다.
• 각 인접 레이어 쌍은 노이즈 제거 오토인코더를 형성하므로, 생성 모델의 타당성을 검증한다.
• 알고리즘이 출력하는 네트워크의 생성 행동은 참값과 통계적으로 구별할 수 없으며, 엣지 가중치가 $\{-1,1\}$ 에 속할 경우 정확히 네트워크를 복구한다.