[논문 리뷰] The asymptotic spectrum of the Hessian of DNN throughout training

Arthur Paul Jacot, Franck Gabriel외 1명|arXiv (Cornell University)|2019. 10. 01.

Model Reduction and Neural Networks참고 문헌 35인용 수 6

한 줄 요약

이 논문은 신경 터미널 커널(NTK)을 활용하여 훈련 전반에 걸친 깊은 신경망(DNN)의 헤시안 스펙트럼을 완전한 이론적 특성화를 제공한다. 이는 헤시안이 渐近적으로 두 개의 직교 성분으로 분해됨을 보여주며, I(NTK를 통한 커널 주성분 분석과 관련됨)와 S(잔여 항목)로 나뉘며, 그들의 모멘트가 더해져 초기화 단계와 훈련 중의 정확한 스펙트럼 분석이 가능하다. 이는 고정-NTK 및 평균장 영역 모두에서 성립한다.

ABSTRACT

The dynamics of DNNs during gradient descent is described by the so-called Neural Tangent Kernel (NTK). In this article, we show that the NTK allows one to gain precise insight into the Hessian of the cost of DNNs. When the NTK is fixed during training, we obtain a full characterization of the asymptotics of the spectrum of the Hessian, at initialization and during training. In the so-called mean-field limit, where the NTK is not fixed during training, we describe the first two moments of the Hessian at initialization.

연구 동기 및 목표

• 최적화 역학의 핵심이지만 잘 이해되지 않는 요소인 훈련 중 DNN의 헤시안 스펙트럼을 이론적으로 기술하는 것.
• 과다 매개변수화된 네트워크에서 평탄한 최소점, 안장점, 일반화의 역할에 대한 열린 질문을 해결하는 것.
• 고정-NTK 및 평균장 영역 모두에서 신경 터미널 커널(NTK)을 사용하여 헤시안의 완전한 스펙트럼 특성화를 제공하는 것.
• 헤시안 성분 I와 S 간의 渐近적 직교성을 확립하여 모멘트 덧셈이 가능하도록 하는 것.

제안 방법

• 헤시안 H를 두 행렬 I(비음수 준정방행렬, NTK를 통한 커널 주성분 분석과 연결됨)와 S(잔여 항목, 수렴 시 퇴화됨)로 분해한다.
• 유한한 데이터 포인트 수 N을 고정한 상태에서 무한한 넓이 근사에서 I와 S의 渐近적 행동을 분석한다.
• 기능 분석과 NTK 매개변수화를 사용하여 S의 일차 및 이차 모멘트를 유도하며, Tr(S)는 훈련 중에 변화하지만 Tr(S²)는 일정함을 보여준다.
• 프로베니우스 노름 분석을 통해 I와 S 간의 渐近적 직교성을 증명하며, 네트워크 폭이 무한해질수록 ||IS||_F → 0 임을 보여준다.
• S의 고차 모멘트가 무한한 넓이 근사에서 퇴화됨을 확립하여 헤시안의 스펙트럼 분석을 단순화한다.
• 이 분해를 고정-NTK(초기화 및 훈련 중)와 NTK가 변화하는 평균장 영역 모두에 적용한다.

실험 결과

연구 질문

• RQ1 DNN의 헤시안 스펙트럼은 과다 매개변수화된 영역에서 훈련 중 어떻게 변화하는가?
• RQ2 신경 터미널 커널(NTK)이 초기화 단계와 훈련 전반에 걸친 헤시안 스펙트럼에 대해 완전한 이론적 기술을 제공할 수 있는가?
• RQ3 헤시안에서 잔여 행렬 S의 역할은 무엇이며, 최적화 중 그 모멘트는 어떻게 행동하는가?
• RQ4 헤시안의 성분 I와 S는 무한한 넓이 근사에서 渐近적으로 직교하는가?
• RQ5 헤시안의 스펙트럼 모멘트는 어떻게 분해되며, I와 S의 모멘트의 합으로 계산될 수 있는가?

주요 결과

• 행렬 I는 비음수 준정방행렬이며, 그 고유값은 NTK에 대한 데이터셋의 (가중치가 부여된) 커널 주성분 분석에 해당하며, 주요 성분 뒤에 많은 작은 고유값이 따른다.
• I의 영공간의 차원은 최소 P−N 이상이며, 이는 초기화 단계와 훈련 전반에 걸쳐 작은 고유값으로 인해 평탄한 방향이 존재함을 나타낸다.
• 행렬 S는 수렴 시 퇴화되며, 그 일차 모멘트 Tr(S)는 훈련 중에 변화하지만 Tr(S²)는 일정하다.
• S의 고차 모멘트는 무한한 넓이 근사에서 퇴화되어 헤시안의 스펙트럼 분석이 단순화된다.
• 행렬 I와 S는 渐近적으로 직교하므로, H = I + S의 k차 모멘트는 Tr(H^k) ≈ Tr(I^k) + Tr(S^k)를 만족한다.
• 이 스펙트럼 분해는 임의의 네트워크 깊이와 유계 C⁴ 비선형성의 일반적인 클래스에 대해 유효하며, NTK를 통해 헤시안 스펙트럼의 완전한 기술을 제공한다.