[논문 리뷰] Deep Information Propagation

Samuel S. Schoenholz, Justin Gilmer외 2명|arXiv (Cornell University)|2016. 11. 04.

Statistical Mechanics and Entropy인용 수 23

한 줄 요약

이 논문은 무작위로 초기화된 깊은 신경망에서 신호 및 기울기 전파를 위한 평균장 이론을 제안하며, 정보 전파를 제한하는 깊이 척도를 규명한다. 이 이론은 네트워크가 훈련 가능할 수 있는 조건이 이러한 깊이 척도—특히 임계 깊이 척도 ξ_c—가 여전히 크기만 하면 되며, ξ_c가 발산하는 '혼돈의 가장자리' 근처에서 훈련 성공률이 최고조에 이르는 것으로 보여준다. 드롭아웃은 이러한 임계성을 파괴하여 훈련 가능한 깊이를 제한한다.

ABSTRACT

We study the behavior of untrained neural networks whose weights and biases are randomly distributed using mean field theory. We show the existence of depth scales that naturally limit the maximum depth of signal propagation through these random networks. Our main practical result is to show that random networks may be trained precisely when information can travel through them. Thus, the depth scales that we identify provide bounds on how deep a network may be trained for a specific choice of hyperparameters. As a corollary to this, we argue that in networks at the edge of chaos, one of these depth scales diverges. Thus arbitrarily deep networks may be trained only sufficiently close to criticality. We show that the presence of dropout destroys the order-to-chaos critical point and therefore strongly limits the maximum trainable depth for random networks. Finally, we develop a mean field theory for backpropagation and we show that the ordered and chaotic phases correspond to regions of vanishing and exploding gradient respectively.

연구 동기 및 목표

• 무작위로 초기화된 깊은 신경망에서의 신호 전파 이론적 한계를 이해하는 것.
• 무작위 네트워크 아키텍처를 통해 정보가 얼마나 멀리 전파될 수 있는지를 규정하는 깊이 척도를 규명하는 것.
• 평균장 이론을 통해 신호 전파, 기울기 흐름, 네트워크 훈련 가능성 간의 공식적 연관성을 수립하는 것.
• 왜 깊은 네트워크의 훈련이 질서에서 혼돈으로의 전이 임계점 근처에서만 가능할 수 있는지 설명하는 것.
• 드롭아웃이 임계성과 최대 훈련 가능한 깊이에 미치는 영향을 분석하는 것.

제안 방법

• 독립 동일분포 정규분포 가중치와 편향을 갖는 완전히 연결된, 훈련되지 않은 순방향 신경망에서의 신호 전파를 분석하기 위해 평균장 형식을 개발한다.
• 입력 신호의 상관관계 감쇠를 특징짓는 깊이 척도 ξ_c를 도입하며, 이는 신호 공분산 진화의 固定点 해를 통해 유도된다.
• 평균장 접근법을 역전파로 확장하여 기울기 흐름에 대한 이중 형식을 유도하고, 기울기가 사라지거나 폭발하는 영역을 규명한다.
• 깊이 척도 ξ_c를 사용하여 무작위 네트워크의 최대 훈련 가능한 깊이를 예측하며, MNIST 및 CIFAR10에서의 실험을 통해 검증한다.
• 드롭아웃의 영향을 가중치 분산의 재스케일링으로 모델링하여, 드롭아웃이 임계점을 파괴하고 ξ_c를 유한하게 유지함으로써 훈련 가능한 깊이를 제한함을 보여준다.
• 이론을 실증적으로 검증하기 위해 다양한 깊이와 하이퍼파rameter를 갖는 깊은 완전 연결 네트워크를 훈련시키며, 이론적 예측과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 깊은 신경망에서 신호 전파를 지배하는 깊이 척도는 무엇인가?
• RQ2 임계 깊이 척도 ξ_c는 깊은 네트워크의 훈련 가능성과 어떻게 관련이 있는가?
• RQ3 네트워크가 질서에서 혼돈으로의 전이점 근처로 초기화될 경우, 신호 및 기울기 전파에선 어떤 일이 발생하는가?
• RQ4 드롭아웃은 임계 깊이 척도 ξ_c의 존재성과 값에 어떻게 영향을 미치는가?
• RQ5 깊이 척도 ξ_c는 다양한 데이터셋과 아키텍처에서 최대 훈련 가능한 깊이를 예측할 수 있는가?

주요 결과

• 질서에서 혼돈으로의 전이점에서 깊이 척도 ξ_c가 발산하며, 이는 이 영역에서 입력 신호의 상관관계가 무한히 멀리 전파될 수 있음을 나타낸다.
• 신경망은 깊이가 ξ_c보다 훨씬 크지 않은 경우에만 훈련 가능하며, 이는 ξ_c가 훈련 가능한 깊이에 대한 보편적 상한임을 보여준다.
• 전방향 신호 전파에서 규명된 질서상태와 혼돈상태는 각각 역전파에서 기울기가 사라지는 상태와 폭발하는 상태에 해당한다.
• 작은 양의 드롭아웃이라도 질서에서 혼돈으로의 임계점을 파괴하여 ξ_c가 여전히 유한하게 유지되며, 이로 인해 최대 훈련 가능한 깊이는 약 L=100으로 제한된다.
• ξ_c를 기반으로 한 훈련 가능한 깊이에 대한 이론적 예측은 MNIST 및 CIFAR10에서 다양한 하이퍼파rameter를 적용한 실험 결과와 강한 일치를 보인다.
• 이 프레임워크는 데이터셋과 옵티마이저에 독립적이며, 이는 ξ_c가 훈련 가능한 깊이에 대한 보편적이고 아키텍처에 따라 결정되는 상한임을 시사한다.