[논문 리뷰] Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks

Lechao Xiao, Yasaman Bahri외 3명|arXiv (Cornell University)|2018. 06. 14.

Neural Networks and Applications인용 수 175

한 줄 요약

논문은 합성곱 신경망(CNN)을 위한 평균장 이론(mean field theory)을 개발하여 아키텍처 트릭 없이 일반 CNN을 최대 10,000층까지 학습 가능하게 하는 초기화 스키마를 식별한다. 직교(orthogonal) 및 Delta-Orthogonal 초기화를 도입하여 다이나믹 아이소메트리와 주파수 전반에 걸친 신호 전파의 균형을 달성한다.

ABSTRACT

In recent years, state-of-the-art methods in computer vision have utilized increasingly deep convolutional neural network architectures (CNNs), with some of the most successful models employing hundreds or even thousands of layers. A variety of pathologies such as vanishing/exploding gradients make training such deep networks challenging. While residual connections and batch normalization do enable training at these depths, it has remained unclear whether such specialized architecture designs are truly necessary to train deep CNNs. In this work, we demonstrate that it is possible to train vanilla CNNs with ten thousand layers or more simply by using an appropriate initialization scheme. We derive this initialization scheme theoretically by developing a mean field theory for signal propagation and by characterizing the conditions for dynamical isometry, the equilibration of singular values of the input-output Jacobian matrix. These conditions require that the convolution operator be an orthogonal transformation in the sense that it is norm-preserving. We present an algorithm for generating such random initial orthogonal convolution kernels and demonstrate empirically that they enable efficient training of extremely deep architectures.

연구 동기 및 목표

• 적절한 초기화를 통해 매우 깊은 일반 CNN을 잔차 연결이나 배치 정규화 없이 학습시킬 수 있는지 여부를 제시한다.
• CNN에서의 신호 전파를 위한 평균장 이론을 도출하고 다이나믹 아이소메트리를 위한 조건을 식별한다.
• 이러한 조건을 실현하는 실용적인 초기화 스킴(직교 및 Delta-Orthogonal)을 개발한다.
• 제안된 초기화를 사용하여 표준 벤치마크에서 초초깊은 CNN을 학습시킬 수 있음을 실험적으로 입증한다.

제안 방법

• CNN에 대한 순전파 공분산 재귀를 도출하고 그 고정점과 안정성을 연구한다.
• 계층 간 야코비안과 그 특이값 분포를 분석하여 다이나믹 아이소메트리와의 연관성을 밝힌다.
• 웨이블릿에서 영감을 받은 방법으로 무작위 직교 합성곱 커널을 구성한다.
• 푸리에 모드 간의 전파 균형을 맞추기 위해 커널 중심에 분산을 집중시켜 Delta-Orthogonal 초기화를 도입한다.
• MNIST와 CIFAR-10에서의 경험적 검증을 제공하여 학습 속도 향상과 깊이 한계를 보인다.

실험 결과

연구 질문

• RQ1 적절한 초기화를 통해 잔차 연결이나 배치 정규화 없이 10,000층의 깊이로 일반 CNN을 학습시킬 수 있는가?
• RQ2 CNN에서 안정적인 순전파 신호 전파와 다이나믹 아이소메트리를 보장하는 초기화 조건은 무엇인가?
• RQ3 매우 깊은 CNN에서 공간 주파수 모드가 어떻게 전파되며, 초기화가 이를 어떻게 균형 있게 만들 수 있는가?
• RQ4 직교 및 Delta-Orthogonal 초기화가 초초깊은 CNN에서 학습 속도와 일반화 성능을 향상시키는가?

주요 결과

• 이론적으로 유도된 초기화 스킴을 사용하면 일반 CNN을 최대 10,000층까지 학습시킬 수 있다.
• 직교 커널은 학습 속도와 엔드-투-엔드 야코비안의 조건화에 현저한 개선을 가져온다.
• CNN은 서로 다른 공간 주파수에 대해 다중 깊이 스케일을 보이며, Delta-Orthogonal 초기화는 모든 주파수에 걸쳐 전파의 균형을 가능하게 한다.
• 커널 전반에 걸친 가중치 분산의 비균일성은 모드 전파를 바꾸고 매우 깊은 네트워크에서 일반화를 저해할 수 있다.
• Delta-Orthogonal 초기화는 실험에서 임의 깊이에 대해 성능을 유지하지만, 일반적인 가우시안 초기화는 실패한다.
• MNIST 및 CIFAR-10에 대한 경험적 결과는 이론과 일치하는 학습 진행 및 깊이 관련 일반화 효과를 보여준다.