[논문 리뷰] Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization

Mariia Seleznova, Gitta Kutyniok|arXiv (Cornell University)|2022. 02. 01.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 무한 넓이 한계를 초월하여 깊이 있는 완전 연결 ReLU 신경망에서 신경망 탄성 커널(NTK)을 조사하며, 초기화에 의존하는 동역학으로 인해 혼돈계 및 치우침의 경계 상태에서 깊이에 따라 NTK의 변동성이 지수적으로 증가하는 것을 보여주고, 순서 상태에서는 안정된 것으로 나타난다. 저자들은 Poole 등(2016)이 규명한 세 가지 상태인 순서, 혼돈, 치우침의 경계 상태에서 무한 깊이-무한 넓이 근사에서 NTK 산산의 정확한 표현을 유도하여, 훈련 중에 NTK가 일정하게 유지되는 것은 오직 순서 상태에서만 가능하다는 것을 밝혀낸다.

ABSTRACT

Neural Tangent Kernel (NTK) is widely used to analyze overparametrized neural networks due to the famous result by Jacot et al. (2018): in the infinite-width limit, the NTK is deterministic and constant during training. However, this result cannot explain the behavior of deep networks, since it generally does not hold if depth and width tend to infinity simultaneously. In this paper, we study the NTK of fully-connected ReLU networks with depth comparable to width. We prove that the NTK properties depend significantly on the depth-to-width ratio and the distribution of parameters at initialization. In fact, our results indicate the importance of the three phases in the hyperparameter space identified in Poole et al. (2016): ordered, chaotic and the edge of chaos (EOC). We derive exact expressions for the NTK dispersion in the infinite-depth-and-width limit in all three phases and conclude that the NTK variability grows exponentially with depth at the EOC and in the chaotic phase but not in the ordered phase. We also show that the NTK of deep networks may stay constant during training only in the ordered phase and discuss how the structure of the NTK matrix changes during training.

연구 동기 및 목표

• 무한 넓이 한계를 초월한 깊이 있는 신경망에서 깊이와 초기화가 신경망 탄성 커널(NTK)에 미치는 영향을 이해하는 것.
• 유사한 깊이와 넓이를 가진 깊은 네트워크에서 NTK의 통계적 성질, 특히 훈련 중 NTK의 산산과 일관성에 대한 분석.
• Poole 등(2016)에서 규명한 세 가지 상태인 순서, 혼돈, 치우침의 경계 상태(EOC)에서 NTK가 훈련 중 일정하게 유지되는 초기화 조건을 규명하는 것.
• Poole 등(2016)에서 규명한 세 가지 상태 전역에서 무한 깊이-무한 넓이 근사에서 NTK 산산의 정확한 표현을 유도하는 것.

제안 방법

• 완전 연결 ReLU 네트워크에서 깊이와 넓이가 동시에 무한대에 접근하는 조건에서 NTK의 이론적 분석.
• 세 가지 상태인 순서, 혼돈, 치우침의 경계 상태에서 초기화 시 NTK 산산(두 번째 모멘트의 제곱에 대한 비율)의 정확한 표현 유도.
• 무작위 행렬 이론과 재귀적 모멘트 전파를 활용하여 네트워크 깊이에 따라 NTK 통계의 변화를 기술.
• 부트스트랩 리샘플링을 적용하여 경험적 NTK 산산의 표준 오차를 추정하고, 이론적 예측의 신뢰성 있는 통계적 검증을 확보.
• 다양한 깊이-넓이 비율과 초기화 하이퍼파rameter에서 몬테카를로 시뮬레이션을 통해 경험적 결과와 이론적 NTK 산산을 비교.
• 기울기 노름과 파라미터 전파의 단계별 행동에 기반하여 훈련 중 NTK가 일정하게 유지되는 조건을 규명.

실험 결과

연구 질문

• RQ1 깊이와 넓이가 동시에 무한대에 접근할 때 깊이 있는 완전 연결 ReLU 신경망에서 신경망 탄성 커널(NTK)은 어떻게 행동하는가?
• RQ2 깊이-넓이 비율과 초기화 하이퍼파rameter는 훈련 중 NTK의 변동성과 일관성에 어떤 역할을 하는가?
• RQ3 세 가지 상태인 순서, 혼돈, 치우침의 경계 상태 중에서 NTK가 훈련 중 일정하게 유지되는 상태는 어디이며, 그 이유는 무엇인가?
• RQ4 세 가지 상태 각각에서 초기화 시 NTK 산산은 깊이에 따라 어떻게 스케일링되는가?
• RQ5 무한 넓이 근사가 깊은 네트워크의 진짜 행동을 얼마나 잘 반영하지 못하는가, 특히 NTK 안정성 측면에서 말이다.

주요 결과

• 혼돈 상태와 치우침의 경계 상태(EOC)에서 NTK 산산은 깊이에 따라 지수적으로 증가하여, 훈련 중 NTK의 높은 변동성을 나타낸다.
• 순서 상태에서는 기울기 노름이 깊이에 따라 감소함에 따라 NTK가 훈련 중 일정하게 유지된다.
• 무한 깊이-무한 넓이 근사에서 NTK 산산은 분석적으로 유도되었으며, 세 가지 상태에서 각각 다른 스케일링 행동을 보이며 단계별로 의존함을 보였다.
• 경험적 결과는 이론적 예측과 일치하며, 부트스트랩 추정에서 유도된 연속적인 오차 막대는 결과의 강건성을 검증한다.
• 깊은 네트워크의 NTK는 오직 순서 상태에서만 훈련 중 일정하게 유지되며, 혼돈 상태와 EOC 상태에서는 증가하는 파라미터 민감도로 인해 상당한 변화를 겪는다.
• 혼돈 상태와 EOC 상태에서 훈련 중 NTK 행렬의 구조가 크게 변화하며, 비대각 요소가 대각 요소 대비 증가함에 따라 강한 샘플 간 상호작용이 나타난다.