[논문 리뷰] Critical initialisation for deep signal propagation in noisy rectifier neural networks

Arnu Pretorius, Elan van Biljon외 2명|arXiv (Cornell University)|2018. 11. 01.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 노이즈가 있는 리ectifier 신경망에서의 신호 전파를 위한 일반화된 평균장 이론을 개발하며, 추가 노이즈의 경우 임계 초기화가 불가능하지만, 노이즈 분산을 고려할 경우 곱셈 노이즈(예: 드롭아웃)의 경우 임계 초기화가 가능하다는 것을 보여준다. 깊은 신호 흐름을 안정화하기 위한 새로운 초기화 전략을 유도하고, 시뮬레이션과 실제 실험(MNIST, CIFAR-10)을 통해 노이즈가 입력 상관관계를 증가시켜 조건이 임계일지라도 학습 가능한 깊이를 감소시킨다는 것을 확인한다.

ABSTRACT

Stochastic regularisation is an important weapon in the arsenal of a deep learning practitioner. However, despite recent theoretical advances, our understanding of how noise influences signal propagation in deep neural networks remains limited. By extending recent work based on mean field theory, we develop a new framework for signal propagation in stochastic regularised neural networks. Our noisy signal propagation theory can incorporate several common noise distributions, including additive and multiplicative Gaussian noise as well as dropout. We use this framework to investigate initialisation strategies for noisy ReLU networks. We show that no critical initialisation strategy exists using additive noise, with signal propagation exploding regardless of the selected noise distribution. For multiplicative noise (e.g. dropout), we identify alternative critical initialisation strategies that depend on the second moment of the noise distribution. Simulations and experiments on real-world data confirm that our proposed initialisation is able to stably propagate signals in deep networks, while using an initialisation disregarding noise fails to do so. Furthermore, we analyse correlation dynamics between inputs. Stronger noise regularisation is shown to reduce the depth to which discriminatory information about the inputs to a noisy ReLU network is able to propagate, even when initialised at criticality. We support our theoretical predictions for these trainable depths with simulations, as well as with experiments on MNIST and CIFAR-10

연구 동기 및 목표

• 스토케스틱 정규화(예: 드롭아웃, 가우시안 노이즈)가 깊은 ReLU 네트워크의 신호 전파에 미치는 영향을 이해하는 것.
• 다양한 노이즈 분포 하에서 안정된 신호 흐름을 가능하게 하는 임계 초기화가 여전히 가능한지 결정하는 것.
• 노이즈 통계를 고려한 새로운 초기화 전략을 도출하여 깊은 네트워크에서의 신호 안정성을 유지하는 것.
• 노이즈가 임계 초기화 상태일지라도 입력 정보의 분류 능력이 전파될 수 있는 깊이에 어떤 영향을 미치는지 분석하는 것.

제안 방법

• 추가 노이즈와 곱셈 노이즈, 드롭아웃을 포함한 다양한 노이즈 분포를 고려한, 신호 전파의 평균장 이론을 확장한다.
• 노이즈가 있는 무작위 초기화된 깊은 ReLU 네트워크에서 전활성화 분산과 입력 상관관계 역학의 재귀적 방정식을 유도한다.
• 곱셈 노이즈의 경우 노이즈 분포의 2차 모멘트에 따라 의존하는 일반화된 임계 초기화 조건을 도입한다.
• 이론을 활용해 노이즈로 인해 입력 표현이 균일하게 상관관계를 가지게 되는 까지의 최대 학습 가능한 깊이를 예측한다.
• 다양한 드롭아웃 비율과 노이즈 수준에서 MNIST 및 CIFAR-10에 대한 수치 시뮬레이션과 실험을 통해 이론적 예측을 검증한다.
• 깊이에 따라 입력 간 상관관계 역학을 분석하여, 노이즈 하에서 분류 정보 손실 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 스토케스틱 정규화가 적용된 깊은 ReLU 네트워크에 대해 임계 초기화 전략을 도출할 수 있는가?
• RQ2 추가 노이즈는 임계 초기화가 안정된 신호 전파를 가능하게 하는 어떤 초기화도 불가능하게 하는가?
• RQ3 곱셈 노이즈의 경우, 노이즈 분포의 2차 모멘트는 필요한 가중치 초기화 분산에 어떤 영향을 미치는가?
• RQ4 임계 초기화 상태로 초기화된 노이즈가 있는 ReLU 네트워크에서 입력에 대한 분류 정보는 어느 깊이까지 전파될 수 있는가?
• RQ5 노이즈 정규화를 증가시킬수록 임계 초기화된 네트워크의 효과적 학습 가능한 깊이는 어떻게 영향을 받는가?

주요 결과

• 임의의 중심이 0인 추가 노이즈의 경우, 노이즈 분포와 관계없이 항상 신호 전파가 발산하므로 임계 초기화는 존재하지 않는다.
• 곱셈 노이즈(예: 드롭아웃)의 경우, 임계 초기화가 가능하며, 이는 노이즈 분포의 2차 모멘트에 따라 달라지며, 조건은 σ²_w = 2/μ₂이다.
• 이론적 예측은 시뮬레이션과 MNIST 및 CIFAR-10에 대한 실제 실험과 일치하며, 유도된 초기화를 사용할 경우 안정된 신호 전파가 확인된다.
• 임계 상태일지라도 노이즈 정규화를 증가시키면 서로 다른 입력의 표현 간 상관관계가 증가함에 따라 입력의 분류 능력이 유지될 수 있는 깊이가 감소한다.
• 드롭아웃 비율 p=0.5는 Xavier 초기화(σ²_w = 1)에 해당하며, 이는 실용적 성공과 일치하며 그 효과를 설명한다.
• 이론적 깊이 한계(6ξ_c)는 검증 손실이 악화되기 시작하는 지점을 잘 따라가며, 노이즈 하에서 학습 가능한 깊이의 실용적 상한선을 나타낸다.