[논문 리뷰] Characterizing Well-Behaved vs. Pathological Deep Neural Networks

Antoine Labatie|arXiv (Cornell University)|2018. 11. 07.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 깊이에 따라 신호와 노이즈 모멘트의 진화를 분석하여 초기화 시 깊이 신경망을 특성화하는 새로운 프레임워크를 제안한다. 이는 전방향 신경망이 다중층 조합으로 인해 병적인 지수적 증가를 겪는 반면, 배치 정규화된 잔차 신경망은 스킵 커넥션 덕분에 이러한 문제를 피하고 오히려 안정적인 거듭제곱 법칙 성장을 보임을 드러낸다.

ABSTRACT

We introduce a novel approach, requiring only mild assumptions, for the characterization of deep neural networks at initialization. Our approach applies both to fully-connected and convolutional networks and easily incorporates batch normalization and skip-connections. Our key insight is to consider the evolution with depth of statistical moments of signal and noise, thereby characterizing the presence or absence of pathologies in the hypothesis space encoded by the choice of hyperparameters. We establish: (i) for feedforward networks, with and without batch normalization, the multiplicativity of layer composition inevitably leads to ill-behaved moments and pathologies; (ii) for residual networks with batch normalization, on the other hand, skip-connections induce power-law rather than exponential behaviour, leading to well-behaved moments and no pathology.

연구 동기 및 목표

• 다양한 아키텍처에 적용 가능한, 최소한의 가정을 가진 초기화 시 깊이 신경망 특성화를 위한 통합적이고 최소한의 방법 개발.
• 기본 전방향 신경망에서 기인하는 병리 현상(예: 폭발하거나 소실되는 기울기 및 활성화)의 근본 원인 규명.
• 깊이가 같음에도 불구하고 배치 정규화된 잔차 신경망이 이러한 병리 현상을 피하는 이유를 모멘트 기반 분석을 통해 설명.
• 제한 없는 가정으로도 컨volutional 레이어, 배치 정규화, 스킵 커넥션을 포함하는 이론적 프레임워크 구축.
• 다양한 아키텍처 간에 신호 및 노이즈 모멘트 성장이 지수적(병리적)인지 거듭제곱 법칙적(잘 행동하는)인지 명확히 구분하는 것 확립.

제안 방법

• 초기화 시 깊이 신경망에서 신호와 노이즈의 통계 모멘트(평균, 분산, 비중앙 모멘트)를 깊이에 따라 분석.
• 가중치와 편향의 무작위성을 랜덤 변수로 간주하여, 모멘트의 깊이에 따른 전파를 모델링하기 위해 재귀적 모멘트 전파 프레임워크 사용.
• 완전 연결 및 컨volutional 신경망에 대해 배치 정규화 및 스킵 커넥션 유무에 관계없이 방법 적용.
• 잔차 블록의 모멘트 기반 분석 도입으로, 잔차 연결이 깊이의 곱셈 효과를 분리시킴을 보여줌.
• 모멘트 성장이 유계(거듭제곱 법칙)인지 무한대(지수적)인지에 따라 활성화 함수와 정규화 조건 유도.
• 무한 넓이 근사에서 점근적 분석을 사용해 모멘트 성장에 대한 결정론적 경계 유도하여 병리 현상의 이론적 특성화 가능.

실험 결과

연구 질문

• RQ1 초기화 시 깊이 전방향 신경망에서 병리적 행동이 발생하는 원인은 무엇이며, 이를 공식적으로 특성화할 수 있는가?
• RQ2 유사한 깊이를 가졌음에도 불구하고 배치 정규화된 잔차 신경망이 표준 깊이 신경망에서 관찰되는 병리 현상을 피하는 이유는 무엇인가?
• RQ3 스킵 커넥션과 배치 정규화가 함께 신호와 노이즈의 통계 모멘트 진화에 어떤 영향을 미치는가?
• RQ4 일관된 프레임워크로 완전 연결, 컨볼루션, 잔차 아키텍처 간의 모멘트 성장 특성화가 최소한의 가정으로 가능할 수 있는가?
• RQ5 깊이 신경망에서 모멘트 성장이 지수적 행동이 아닌 거듭제곱 법칙 행동을 따를 수 있는 조건는 무엇인가?

주요 결과

• 전방향 신경망에서는 레이어의 곱셈 조합으로 인해 신호 및 노이즈 모멘트가 지수적으로 증가하여, 활성화 및 기울기의 소실 또는 폭발과 같은 병리 현상 발생.
• 배치 정규화 및 스킵 커넥션 없이 ReLU 기반 네트워크는 두 번째 순서 모멘트와 비중앙 모멘트 모두에서 지수적 증가를 보이며 분산에 상한선 없음.
• 배치 정규화된 잔차 신경망에서는 스킵 커넥션이 곱셈 체인을 끊어내어 지수적 증가 대신 거듭제곱 법칙 성장을 유도함.
• 배치 정규화와 스킵 커넥션의 조합은 신호 분산이 유계(예: μ₂(zˡᴴ) = 1)로 유지되어 초기화 시 네트워크의 가설 공간이 안정화됨.
• 이론적 분석은 잔차 신경망에서 모멘트 성장이 잘 행동하며 유계임을 확인하며, δχˡ이 상하한선으로 유계여서 거듭제곱 법칙 행동 조건 충족.
• 입력 데이터, 활성화 함수, 아키텍처 구성 요소에 제한 없이 병리 현상 특성화에 성공하며, 컨볼루션 및 정규화된 네트워크에 적용 가능.