[논문 리뷰] Exponential expressivity in deep neural networks through transient chaos

Ben Poole, Subhaneil Lahiri외 3명|arXiv (Cornell University)|2016. 06. 16.

Model Reduction and Neural Networks참고 문헌 14인용 수 157

한 줄 요약

논문은 깊은 랜덤 네트워크에서 주문-혼돈(오더-투-카오스) 상전이를 보여주며, 혼돈 구간에서 깊이에 의한 동역학이 지수적 표현력과 매니폴드 분리(disentangling)를 만들어내고, 평균장/리만 기하학적 프레임워크로 검증된다.

ABSTRACT

We combine Riemannian geometry with the mean field theory of high dimensional chaos to study the nature of signal propagation in generic, deep neural networks with random weights. Our results reveal an order-to-chaos expressivity phase transition, with networks in the chaotic phase computing nonlinear functions whose global curvature grows exponentially with depth but not width. We prove this generic class of deep random functions cannot be efficiently computed by any shallow network, going beyond prior work restricted to the analysis of single functions. Moreover, we formalize and quantitatively demonstrate the long conjectured idea that deep networks can disentangle highly curved manifolds in input space into flat manifolds in hidden space. Our theoretical analysis of the expressive power of deep networks broadly applies to arbitrary nonlinearities, and provides a quantitative underpinning for previously abstract notions about the geometry of deep functions.

연구 동기 및 목표

• 깊은 네트워크에서 특정 비선형성에 의존하지 않는 표현력의 개념을 동기 부여하고 형식화한다.
• 깊이가 무작위 네트워크의 신호 전파와 기하학에 어떤 영향을 미치는지 분석하는 통합 프레임워크를 개발한다.
• 주문-혼돈 전이와 그 가속이 곡률 및 매니폴드 분리에 미치는 영향을 정량적으로 특성화한다.

제안 방법

• 무작위 깊은 네트워크를 연구하기 위해 리만 기하학과 동적 평균장 이론을 결합한다.
• 길이 맵 q^l = (1/N_l) sum_i h_i^{l2} 을 도입하고 반복 맵 q^l = V(q^{l-1} | sigma_w, sigma_b) 를 도출한다.
• q^{l}_{12} 를 지배하고 고정점 c^* 및 기울기 chi_1 을 갖는 층별 상관 맵 C 를 도출한다.
• 레이어를 통해 1D 매니폴드의 전파를 분석하고 접선을 이용한 각의 원(oscillating circles)과 Gauss 지도를 통해 외재 곡률 kappa 를 정의한다.
• chi_1 과 chi_2 를 이용해 외재 곡률 및 유클리드 거리 측정치 bar{g}^{E,l} 와 (bar{kappa}^l)^2 의 진화 방정식을 얻고, 혼돈 구역에서 곡률의 기하급수적 증가를 보인다.

실험 결과

연구 질문

• RQ1 깊은 무작위 네트워크가 얕은 네트워크가 달성할 수 없는 표현력의 이점을 보이는가?
• RQ2 깊이가 신호 전파의 기하학(길이와 곡률 포함)에 어떤 영향을 미치는가? 무작위 네트워크에서
• RQ3 가중치/바이어스 통계의 공간에서 정보 처리에 관여하는 주문-혼돈 전이가 존재하는가?
• RQ4 깊이를 통해 입력 매니폴드의 높은 곡률을 더 얕은 표현으로 분리해 내는가?
• RQ5 로컬 및 글로벌 곡률 측정치가 깊이에 따라 어떻게 evolution 하고 혼돈/순서 구역 간에 차이가 있는가?

주요 결과

• sigma_w와 sigma_b에 의해 결정되는 주문-혼돈 표현력 상전이가 존재하며, 혼돈 동역학은 깊이에 따른 전역 곡률의 기하급수적 성장을 야기한다.
• 혼돈 구역에서 매니폴드의 유클리드 길이는 깊이에 대해 기하급수적으로 증가하는 반면, 곡률은 유지되며 chi_2를 통해 누적되어 은닉 공간에서 기하급수적 확장을 이끈다.
• 깊은 네트워크의 혼돈 구역은 입력 매니폴드의 높은 곡률을 출력층에서 더-flat한 표현으로 분리해 내어 기하급수적으로 복잡한 함수를 가능하게 한다.
• 얕은 네트워크는 기하급수적 표현력을 달성할 수 없으며, 특정 단조 비선형성에 대해 유클리드 길이가 폭(width)에 비례해 선형적으로 증가하는 상한이 존재한다.
• 결정 경계의 주요 곡률은 깊이에 따라 기하급수적으로 증가할 수 있어, 보다 복잡하고 깊이에 의해 가능해지는 분류 경계가 형성됨을 시사한다.