[논문 리뷰] Information in Infinite Ensembles of Infinitely-Wide Neural Networks

Ravid Shwartz-Ziv, Alexander A. Alemi|arXiv (Cornell University)|2019. 11. 20.

Neural Networks and Applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 접근 가능한 정보이론적 분석을 통해 무한한 넓이의 신경망 집합에서 일반화를 연구한다. 상호정보량이 매개변수와 데이터 간에 발산함으로써 PAC-Bayes 경계가 의미를 잃게 되지만, 표현-입력 및 표현-타겟 상호정보량과 같은 핵심 양상은 유한하고 분석 가능하며, 이는 집합 평균이 입력 정보를 압축하고 정보 평면상 최적의 트레이드오프를 가능하게 한다는 것을 드러낸다.

ABSTRACT

In this preliminary work, we study the generalization properties of infinite ensembles of infinitely-wide neural networks. Amazingly, this model family admits tractable calculations for many information-theoretic quantities. We report analytical and empirical investigations in the search for signals that correlate with generalization.

연구 동기 및 목표

• 정보이론적 관점에서 무한한 넓이의 신경망에서의 일반화를 이해하기 위해.
• 접근 가능한 정보이론적 양상이 무한한 집합에서의 일반화 성능을 나타낼 수 있는지 조사하기 위해.
• 무한한 넓이 근사에서 표현, 입력, 타겟, 매개변수 간의 상호정보량 행동을 분석하기 위해.
• 이 영역에서 PAC-Bayes 스타일 일반화 경계의 타당성을 평가하기 위해.
• 경사 흐름 하에서 매개변수 궤적의 정보 기하학을 탐구하기 위해.

제안 방법

• 제곱 손실로 훈련되는 무한한 넓이의 신경망 집합을 모델링한다.
• 신경 탄성 커널(NTK) 형식을 사용하여 네트워크 동역학을 기술하고, 출력 분포를 조건부 정규분포로 닫힌 형태로 계산할 수 있도록 한다.
• 상호정보량 양상에 대한 해석적 표현을 유도한다: I(Z;Y), I(Z;X|D), I(Z;D|X), 및 I(Θ;D).
• 변분 경계와 변수변환 공식을 사용하여 매개변수와 데이터 간의 상호정보량을 추정한다.
• NTK와 초기 가중치 공분산을 사용하여 매개변수 공간에서 피셔 정보 메트릭과 매개변수 궤적 길이를 계산한다.
• 랜덤 초기화에 대한 기대값을 계산하기 위해 가우시안 프로세스 및 선형 대수 기법을 사용한다.

실험 결과

연구 질문

• RQ1 무한한 넓이의 네트워크 집합에서 정보이론적 양상, 예를 들어 상호정보량을 해석적으로 계산할 수 있는가?
• RQ2 이러한 양상은 무한한 넓이 근사에서 일반화 성능과 상관이 있는가?
• RQ3 좋은 일반화에도 불구하고 이 영역에서 왜 PAC-Bayes 경계가 실패하는가?
• RQ4 개별 네트워크에 비해 집합 평균은 입력 정보를 얼마나 효과적으로 압축하는가?
• RQ5 매개변수 공간에서 매개변수 궤적 길이와 정보 기하학의 행동은 어떠한가?

주요 결과

• 훈련 시간이 무한에 가까워질수록 네트워크 출력과 입력 간의 상호정보량 I(Z;X|D)는 여전히 유한하고 작게 유지되며, 이는 집합이 입력 정보를 효과적으로 압축하고 있음을 나타낸다.
• 표현과 타겟 간의 상호정보량 I(Z;Y)는 가우시안 데이터에서 거의 최적의 성능을 달성하며, 이론적 정보 블로킹 경계에 가까워진다.
• 매개변수와 데이터 간의 상호정보량 I(Θ;D)는 훈련 시간이 증가함에 따라 발산하며, 이로 인해 표준 PAC-Bayes 일반화 경계는 의미를 잃게 된다.
• 피셔 정보 메트릭은 매개변수 공간에서 일정하고 평탄하며, 무한한 훈련 시간 동안에도 매개변수 궤적 길이는 유한하다.
• 집합의 출력 분포는 조건부 가우시안이므로, 모든 핵심 정보이론적 양상에 대해 닫힌 형태의 계산이 가능하다.
• ReLU 및 Erf 네트워크의 경우, 낮은 초기 가중치 분산에서 과적합이 관찰되며, 특히 Erf 비선형성에서는 테스트 손실의 악화가 더 심각하다.