[논문 리뷰] Fundamental limits of overparametrized shallow neural networks for supervised learning

Francesco Camilli, Daria Tieplova외 1명|arXiv (Cornell University)|2023. 07. 11.

Neural Networks and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 동일한 아키텍처를 가진 교사 네트워크로부터 생성된 데이터를 학습하는 오버파rametr화된 두 층 신경망의 일반화 성능에 대한 엄밀한 정보이론적 한계를 수립한다. 스핀 글라스 이론과 가우시안 등가 원리 도구를 사용하여, 충분한 학습 샘플이 존재하는 고차원적 영역에서 신경망이 일반화된 선형 모델과 동일하게 행동함을 증명하며, 동일한 베이즈 최적 일반화 오차와 상호정보량 한계를 달성한다.

ABSTRACT

We carry out an information-theoretical analysis of a two-layer neural network trained from input-output pairs generated by a teacher network with matching architecture, in overparametrized regimes. Our results come in the form of bounds relating i) the mutual information between training data and network weights, or ii) the Bayes-optimal generalization error, to the same quantities but for a simpler (generalized) linear model for which explicit expressions are rigorously known. Our bounds, which are expressed in terms of the number of training samples, input dimension and number of hidden units, thus yield fundamental performance limits for any neural network (and actually any learning procedure) trained from limited data generated according to our two-layer teacher neural network model. The proof relies on rigorous tools from spin glasses and is guided by ``Gaussian equivalence principles'' lying at the core of numerous recent analyses of neural networks. With respect to the existing literature, which is either non-rigorous or restricted to the case of the learning of the readout weights only, our results are information-theoretic (i.e. are not specific to any learning algorithm) and, importantly, cover a setting where all the network parameters are trained.

연구 동기 및 목표

• 오버파라미터화된 얕은 신경망의 기본 성능 한계를 초순수 학습 환경에서 이해하기 위해.
• 아키텍처와 데이터 가용성이 교사-학생 프레임워크 내에서 일반화 오차와 상호정보량에 미치는 제약를 분석하기 위해.
• 모든 네트워크 가중치가 학습되는 정보이론적 환경에서 가우시안 등가 원리(GEPs)의 엄밀한 타당성을 확립하기 위해.
• 특정 학습 알고리즘에 종속되지 않는 상호정보량과 일반화 오차에 대한 한계를 유도하기 위해.
• 오버파라미터화된 신경망 영역에서 비엄밀한 히우리스틱 분석과 엄밀한 수학적 물리학 사이의 격차를 메우기 위해.

제안 방법

• 랜덤 i.i.d. 입력과 출력을 가진 베이지안 최적의 교사-학생 설정을 사용하며, 두 층 교사 네트워크에 의해 생성된 데이터를 기반으로 한다.
• 스핀 글라스 이론의 엄밀한 도구를 적용하여 신경망의 일반화 성능에 대한 고차원 극한을 분석한다.
• 가우시안 등가 원리(GEPs)를 사용하여 오버파라미터화된 네트워크에서 비선형 활성화가 특정 스케일링 조건 하에서 선형 모델과 유사하게 행동함을 보여준다.
• 신경망을 더 단순한 일반화된 선형 모델과 비교하여 훈련 데이터와 네트워크 가중치 사이의 상호정보량에 대한 명시적 한계를 도출한다.
• 고차항 보정을 통제하기 위해 가우시안 적분 부분 통합 및 직교화 기법을 수행한다.
• 학습 샘플 수가 입력 차원과 은닉 유닛 수와 적절하게 스케일링되는 조건 하에서, 최적 일반화 오차와 상호정보량 측면에서 신경망과 일반화된 선형 모델 간의 등가성을 확립한다.

실험 결과

연구 질문

• RQ1 초순수 학습 환경에서 오버파라미터화된 두 층 신경망의 기본 정보이론적 한계는 무엇인가?
• RQ2 비선형 신경망이 일반화 성능 측면에서 일반화된 선형 모델과 유사하게 행동하는 스케일링 영역는 언제인가?
• RQ3 오버파라미터화된 영역에서 훈련 데이터와 네트워크 가중치 사이의 상호정보량은 더 단순한 선형 모델의 것과 어떻게 관련이 있는가?
• RQ4 모든 네트워크 가중치가 학습되는 환경에서 가우시안 등가 원리는 엄밀히 정당화될 수 있는가? (읽기층만 학습되는 경우가 아니라.)
• RQ5 이러한 오버파라미터화된 교사-학생 설정에서 어떤 학습 절차도 달성할 수 있는 최적의 일반화 오차는 무엇인가?

주요 결과

• 충분한 학습 샘플이 존재하는 오버파라미터화된 영역에서, 두 층 신경망의 훈련 데이터와 네트워크 가중치 사이의 상호정보량은 일반화된 선형 모델의 것에 의해 제한된다.
• 동일한 스케일링 조건 하에서, 신경망의 베이즈 최적 일반화 오차는 정보이론적으로 일반화된 선형 모델과 동일하다.
• 이 설정에서 가우시안 등가 원리(GEP)가 엄밀히 검증되었으며, 비선형 활성화가 고차원 극한에서 선형과 유사한 행동을 이끌어냄을 보여준다.
• 이러한 한계는 학습 샘플 수, 입력 차원, 은닉 유닛 수에 명시적으로 의존하며, 일반화 한계의 정량적 특성화를 제공한다.
• 분석은 어떤 학습 알고리즘에도 적용 가능하며, 알고리즘에 종속되지 않은 정보이론적 접근이므로 기본 성능 한계를 확립한다.
• 유도된 스케일링 영역 하에서 고차항 보정이 무시할 만큼 작다는 것이 입증되었으며, 일반화된 선형 모델과의 등가성의 강건성을 확인한다.