[논문 리뷰] Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function

Wojciech Tarnowski, Piotr Warchoł외 3명|arXiv (Cornell University)|2018. 09. 24.

Neural Networks and Applications인용 수 16

한 줄 요약

이 논문은 자유 확률 이론과 랜덤 행렬 이론을 활용하여 초기화 시 입력-출력 자코비안의 보편적 스펙트럼 밀도 공식을 유도함으로써, 잔차 신경망(ResNets)이 어떤 활성화 함수를 사용하든 보편적으로 역학적 등장(동역학적 등장)을 달성할 수 있음을 보여준다. 주요 결과는 스킵 연결 수에 반비례하는 가중치 초기화 분산을 조정함으로써, 활성화 함수의 유형에 관계없이 동역학적 등장이 달성될 수 있으며, 이는 다양한 활성화 함수 간 일관된 학습 역학을 가능하게 한다.

ABSTRACT

We demonstrate that in residual neural networks (ResNets) dynamical isometry is achievable irrespectively of the activation function used. We do that by deriving, with the help of Free Probability and Random Matrix Theories, a universal formula for the spectral density of the input-output Jacobian at initialization, in the large network width and depth limit. The resulting singular value spectrum depends on a single parameter, which we calculate for a variety of popular activation functions, by analyzing the signal propagation in the artificial neural network. We corroborate our results with numerical simulations of both random matrices and ResNets applied to the CIFAR-10 classification problem. Moreover, we study the consequence of this universal behavior for the initial and late phases of the learning processes. We conclude by drawing attention to the simple fact, that initialization acts as a confounding factor between the choice of activation function and the rate of learning. We propose that in ResNets this can be resolved based on our results, by ensuring the same level of dynamical isometry at initialization.

연구 동기 및 목표

• 잔차 신경망에서의 동역학적 등장이 사용된 활성화 함수에 관계없이 보편적으로 달성될 수 있음을 입증하는 것.
• 네트워크의 넓이와 깊이가 무한해지는 극한에서, 초기화 시 입력-출력 자코비안의 스펙트럼 밀도에 대한 보편적 공식을 유도하는 것.
• 다양한 활성화 함수 간 학습 역학 실험에서의 혼동 요소를 제거하기 위해, 동역학적 등장 수준을 동일하게 유지하는 것.
• 랜덤 행렬과 CIFAR-10에서 훈련된 ResNets를 통한 수치 실험을 통해 이론적 예측을 검증하는 것.
• 학습 역학 측면에서 활성화 함수 간 공정한 비교를 가능하게 하는 원칙적인 초기화 전략을 제공하는 것.

제안 방법

• 자유 확률 이론과 랜덤 행렬 이론(Free Probability and Random Matrix Theory, FPT & RMT)을 적용하여 초기화 시 깊은 잔차 신경망 내 신호 전파를 분석하는 것.
• 깊이와 넓이가 무한해지는 극한에서 입력-출력 자코비안의 그린 함수에 대한 보편적 식을 유도하는 것.
• 특이값 스펙트럼을 지배하는 단일 효과적 누적모멘트 파라미터를 정의하며, 이는 활성화 함수의 성질과 가중치 분산으로부터 계산 가능하다.
• 신호 분산과 잔차 블록을 통한 기울기 흐름의 진화를 모델링하기 위해 동역학적 평균장 이론을 사용하는 것.
• 학습된 정규화 파라미터를 반영하여 자코비안의 스펙트럼 통계를 수정함으로써 배치 정규화를 이론적 프레임워크에 통합하는 것.
• 랜덤 행렬과 CIFAR-10에서 훈련된 ResNets를 통한 수치 실험을 통해 이론적 예측을 검증하는 것.

실험 결과

연구 질문

• RQ1 잔차 신경망에서 어떤 활성화 함수를 사용하든, 그 기능 형태에 관계없이 동역학적 등장이 달성될 수 있는가?
• RQ2 깊은 ResNets에서 초기화 시 입력-출력 자코비안을 지배하는 보편적 스펙트럼 성질은 무엇인가?
• RQ3 스킵 연결 수에 비례하여 가중치 초기화 분산을 어떻게 설정해야 동역학적 등장이 달성되는가?
• RQ4 초기 자코비안 스펙트럼이 학습 역학 비교에서 다양한 활성화 함수 간의 혼동 요소를 얼마나 크게 초래하는가?
• RQ5 배치 정규화를 자코비안 스펙트럼 분석을 위한 이론적 프레임워크에 일관되게 통합할 수 있는가?

주요 결과

• 깊은 ResNets에서 입력-출력 자코비안의 스펙트럼 밀도는 활성화 함수에 관계없이 보편적인 식으로 기술되며, 네트워크의 크기가 무한해지는 극한에서 성립한다.
• 스킵 연결 수에 반비례하는 가중치 초기화 분산을 설정함으로써, 어떤 활성화 함수를 사용하든 ResNets에서 동역학적 등장이 달성될 수 있다.
• 특이 스펙트럼을 결정하는 효과적 누적모멘트 파라미터는 활성화 함수, 가중치 분산, 일부 함수의 경우 네트워크 깊이에 따라 달라진다.
• 랜덤 행렬과 CIFAR-10에서 훈련된 ResNets를 통한 수치 시뮬레이션은 보편적 스펙트럼 밀도와 동역학적 등장의 이론적 예측을 확인한다.
• 초기화가 동일한 동역학적 등장 수준을 보장할 경우, 다양한 활성화 함수의 학습 곡선 간 비교가 보다 가능해지며, 혼동 요소가 감소한다.
• 배치 정규화를 통합함으로써 보편적 스펙트럼 행동이 유지되며, 학습된 정규화 파라미터를 반영한 수정된 효과적 누적모멘트 식이 도출된다.