[논문 리뷰] Deep ReLU Networks Preserve Expected Length

Boris Hanin, Ryan Jeong외 1명|arXiv (Cornell University)|2021. 02. 21.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 표준 He 초기화를 사용하는 깊은 ReLU 신경망이 깊이에 따라 길이 왜곡이 지수적으로 증가하지 않음을 보여준다. 대신 기대 길이 왜곡은 유한하게 유지되며 깊이가 증가함에 따라 약간 감소한다. 저자들은 랜덤 매트릭스 이론과 가우시안 가중치 초기화를 활용하여 기대 길이 및 부피 왜곡에 대한 정확한 상한을 유도하며, 이는 이전에 지수적 증가를 가정한 바와는 달리 초기화 단계에서 왜곡이 잘 통제되어 있음을 시사한다.

ABSTRACT

Assessing the complexity of functions computed by a neural network helps us understand how the network will learn and generalize. One natural measure of complexity is how the network distorts length - if the network takes a unit-length curve as input, what is the length of the resulting curve of outputs? It has been widely believed that this length grows exponentially in network depth. We prove that in fact this is not the case: the expected length distortion does not grow with depth, and indeed shrinks slightly, for ReLU networks with standard random initialization. We also generalize this result by proving upper bounds both for higher moments of the length distortion and for the distortion of higher-dimensional volumes. These theoretical results are corroborated by our experiments.

연구 동기 및 목표

• 깊은 ReLU 네트워크가 깊이에 따라 지수적으로 증가하는 길이 왜곡을 보인다는 오랫동안 지속된 가정을 해결하기 위해.
• 초기화 단계에서 깊은 ReLU 네트워크의 기대 길이 왜곡에 대한 날카운 이론적 상한을 제공하기 위해.
• 이러한 상한을 길이 왜곡의 고차원 모멘트와 고차원 부피 왜곡으로 확장하기 위해.
• 이전의 느슨한 상한이 미세한 아키텍처 의존성을 포착하지 못함을 실험적으로 검증하고, 새로운 상한이 관측된 행동과 밀도 있게 일치함을 보이기 위해.
• 이전 연구에서 오인을 야기한 주요 타이포(오류)로 인한 오해를 명확히 하기 위해, 특히 지수적 증가를 주장한 주장에서 중요한 요소인 2의 인자가 누락된 사례를 수정하기 위해.

제안 방법

• 저자들은 체인 룰과 자코비안 기반 분석을 사용하여, 변환된 곡선의 길이를 탄젠트 벡터에 적용된 자코비안 노름의 형태로 표현한다.
• 가우시안 가중치 초기화를 활용하여, 자코비안 노름의 제곱 분포를 독립적인 스케일링된 카이제곱 랜덤 변수의 곱으로 유도한다.
• 카이제곱 분포의 기대값을 활용하여 $\mathbb{E}[||J_x u||^2] = \frac{n_L}{n_0}$를 계산하며, 이는 기대 길이 왜곡을 상한으로 제시한다.
• 유사한 모멘트 기반 기법을 사용하여 길이 왜곡의 고차원 모멘트와 고차원 부피 왜곡으로의 분석을 일반화한다.
• 초기화 단계에서 깊은 ReLU 네트워크에 대한 실험을 통해 이론적 예측을 검증하며, 이전의 느슨한 상한과 비교한다.
• 이전 연구에서 잘못된 지수적 증가 주장의 근본 원인인 중요한 타이포(인자가 누락됨)를 수정하며, 엄밀한 분석을 통해 원래 결론이 무효화됨을 보여준다.

실험 결과

연구 질문

• RQ1 표준 He 초기화 하에서 깊은 ReLU 네트워크의 기대 길이 왜곡은 깊이에 따라 지수적으로 증가하는가?
• RQ2 초기화 단계에서 깊은 ReLU 네트워크의 기대 길이 왜곡과 그 고차원 모멘트에 대한 날카운 상한은 무엇인가?
• RQ3 ReLU 네트워크에서 고차원 부피의 왜곡은 깊이에 따라 어떻게 스케일링되는가?
• RQ4 왜 이전 이론적 상한은 길이 왜곡에 대해 관측된 행동과 일치하지 않는가?
• RQ5 표준 초기화 하에서 길이 왜곡의 관측 행동은 네트워크의 너비와 깊이에 민감한가?

주요 결과

• He 초기화($\sigma_w = \sqrt{2}$)를 사용하는 깊은 ReLU 네트워크에서 기대 길이 왜곡은 1 이하로 유한하게 상한이 설정되며, 깊이가 증가함에 따라 약간 감소한다.
• 기대 제곱 자코비안 노름의 정확한 표현은 $\mathbb{E}[||J_x u||^2] = \frac{n_L}{n_0}$이며, 이는 기대 길이 왜곡에 대한 날카운 상한을 제공한다.
• 길이 왜곡의 고차원 모멘트는 잘 통제되어 있으며, 높은 확률로 성립하는 상한을 갖는다. 이는 왜곡 분포의 안정성을 시사한다.
• 고차원 부피의 왜곡 역시 동일하게 유한하게 상한이 설정되며, 이 이론은 입력의 $k$-차원 부분다양체로 일반화된다.
• 실험 결과는 새로운 이론적 상한이 관측된 행동과 밀도 있게 일치함을 확인하며, 이는 이전 상한이 느슨하고 아키텍처 의존성을 포착하지 못함을 시사한다.
• 이전 연구에서 지수적 증가를 잘못 주장한 주요 타이포는 지수의 인자인 2를 누락한 것이었으며, 저자들은 엄밀한 분석을 통해 이를 수정한다.