[논문 리뷰] The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks

James B. Simon, Madeline Dickens외 2명|arXiv (Cornell University)|2021. 10. 08.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 고유값 학습(Eigenlearning) 프레임워크를 소개하며, 고정된 '학습 가능성' 예산 내에서 커널 고유모드 간의 경쟁으로 간주함으로써 커널 리지 회귀(KRR) 일반화 분석을 단순화하는 새로운 보존법칙 관점을 제안한다. 주요 기여는 기본 선형대수학만을 사용하여 테스트 리스크와 일반화 지표에 대한 폐쇄형, 해석 가능한 이론을 제공함으로써 통계역학과 깊은 연결을 드러내고 딥 러닝 일반화 및 적대적 공격에 대한 강건성에 대한 새로운 이론적 통찰을 가능하게 한다.

ABSTRACT

We derive simple closed-form estimates for the test risk and other generalization metrics of kernel ridge regression (KRR). Relative to prior work, our derivations are greatly simplified and our final expressions are more readily interpreted. These improvements are enabled by our identification of a sharp conservation law which limits the ability of KRR to learn any orthonormal basis of functions. Test risk and other objects of interest are expressed transparently in terms of our conserved quantity evaluated in the kernel eigenbasis. We use our improved framework to: i) provide a theoretical explanation for the "deep bootstrap" of Nakkiran et al (2020), ii) generalize a previous result regarding the hardness of the classic parity problem, iii) fashion a theoretical tool for the study of adversarial robustness, and iv) draw a tight analogy between KRR and a well-studied system in statistical physics.

연구 동기 및 목표

• 기존 커널 리지 회귀(KRR) 일반화 이론 결과를 새로운 보존법칙을 통해 단순화하고 재해석하기 위해.
• KRR에서 테스트 리스크 및 기타 일반화 지표를 추정하기 위한 투명하고 폐쇄형 프레임워크를 제공하기 위해.
• 딥 러닝에서 관찰된 경험적 현상, 예를 들어 '딥 부트스트랩'과 적대적 공격에 대한 강건성을 통합된 이론적 시각으로 설명하기 위해.
• KRR와 통계역학의 자유 페르미 가스 모델 간의 밀접한 유사성을 도출하여 이분야 간의 통찰을 가능하게 하기 위해.
• 레플리카 이론이나 랜덤 행렬 이론에 의존하는 이전 연구보다 더 접근하기 쉬운 KRR 일반화 유도 과정을 제공하기 위해.

제안 방법

• 학습 가능성을 보존량으로 정의: 목표 함수와 예측 함수 간의 내적으로, 학습 샘플 수에 의해 제약을 받는다.
• 모든 정규직교 기저 함수 집합에 대해 총 학습 가능성이 학습 샘플 수를 초과할 수 없으며, 리지 파rameter가 0일 때 등호가 성립한다는 보존법칙을 유도한다.
• 테스트 리스크, 예측 공분산 및 기타 지표를 고유모드별 학습 가능성으로 표현하며, 폐쇄형 수식(예: 식 7–14)을 사용한다.
• 이 프레임워크를 이산 및 연속적 설정 모두에서 KRR에 적용하며, 유한한 리지 및 샘플 크기 보정을 위해 편미분 매개변수 δ/M를 도입한다.
• 이 프레임워크를 활용해 예측 함수의 매끄러움을 통해 적대적 공격에 대한 강건성을 추정하는 방법을 유도하고, 딥 부트스트랩 현상의 분석을 수행한다.
• KRR와 자유 페르미 가스 간의 공식적 유사성을 수립하며, 알려진 물리학 결과를 활용해 KRR의 거동에 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 기본 선형대수학만을 사용하여 커널 리지 회귀(KRR)의 일반화 지표를 폐쇄형, 해석 가능한 방식으로 어떻게 표현할 수 있는가?
• RQ2 넓은 신경망에서 관측된 '딥 부트스트랩' 현상의 이론적 근거는 무엇이며, 고유모드 경쟁을 통해 어떻게 설명할 수 있는가?
• RQ3 학습 가능성의 보존이 KRR가 정규직교 목표 함수를 학습하는 능력을 어떻게 제약하는가?
• RQ4 이 프레임워크는 기계학습 모델의 적대적 공격에 대한 강건성 분석을 위한 새로운 이론적 도구를 제공할 수 있는가?
• RQ5 커널 리지 회귀와 통계역학의 자유 페르미 가스 간의 정확한 수학적 유사성은 무엇인가?

주요 결과

• 어떤 정규직교 기저 함수 집합에 대해 총 학습 가능성이 보존되며, 학습 샘플 수로 제한되며, 리지 파rameter가 0일 때 등호가 성립한다.
• KRR의 테스트 리스크와 예측 공분산은 고유모드별 학습 가능성으로 폐쇄형으로 표현되며, 이는 이전의 레플리카 이론 기반 유도보다 상당한 단순화를 제공한다.
• 이 프레임워크는 두 가지 구분되는 학습 영역—초기 및 후기 단계—에서 서로 다른 고유모드가 학습을 지배한다는 점을 규명함으로써 '딥 부트스트랩' 현상을 설명한다.
• 예측 함수의 매끄러움을 추정하는 새로운 추정기법이 도출되었으며, 이는 적대적 공격에 대한 강건성 연구를 위한 이론적 도구를 제공한다.
• 시스템은 자유 페르미 가스와 밀접한 유사성을 보이며, 고유모드 학습 가능성은 페르미온의 점유 수와 유사하게 작용하여 통계역학의 통찰을 KRR에 이식할 수 있다.
• 리지 파arameter κ에 대한 분석적 경계가 유도되었으며, 이는 샘플 수가 증가함에 따라 감소하고 커널 고유값 스펙트럼에 민감함을 보여준다.