[논문 리뷰] Generalization bounds for deep learning

Guillermo Valle-Pérez, Ard A. Louis|arXiv (Cornell University)|2020. 12. 07.

Machine Learning and Algorithms참고 문헌 121인용 수 13

한 줄 요약

이 논문은 함수 기반 시각에서 유도된 새로운 마진럴리크리프스티브 PAC-Bayesian 경계를 제안하며, 실제 테스트 오차를 밀접하게 따라가기 때문에 강력한 경험적 성능을 달성한다. 이 경계는 파wr-법 학습 곡선을 가정할 때 대량 데이터 근처에서 상수 배수 이내로 최적화되며, 베이지안 증거와 일치함으로써 기존의 파rameter-기반 경계보다 뛰어나며, SGD로 훈련된 모델에 대해 비어 있지 않고 계산 가능하며 엄밀한 일반화 예측을 제공한다.

ABSTRACT

Generalization in deep learning has been the topic of much recent theoretical and empirical research. Here we introduce desiderata for techniques that predict generalization errors for deep learning models in supervised learning. Such predictions should 1) scale correctly with data complexity; 2) scale correctly with training set size; 3) capture differences between architectures; 4) capture differences between optimization algorithms; 5) be quantitatively not too far from the true error (in particular, be non-vacuous); 6) be efficiently computable; and 7) be rigorous. We focus on generalization error upper bounds, and introduce a categorisation of bounds depending on assumptions on the algorithm and data. We review a wide range of existing approaches, from classical VC dimension to recent PAC-Bayesian bounds, commenting on how well they perform against the desiderata. We next use a function-based picture to derive a marginal-likelihood PAC-Bayesian bound. This bound is, by one definition, optimal up to a multiplicative constant in the asymptotic limit of large training sets, as long as the learning curve follows a power law, which is typically found in practice for deep learning problems. Extensive empirical analysis demonstrates that our marginal-likelihood PAC-Bayes bound fulfills desiderata 1-3 and 5. The results for 6 and 7 are promising, but not yet fully conclusive, while only desideratum 4 is currently beyond the scope of our bound. Finally, we comment on why this function-based bound performs significantly better than current parameter-based PAC-Bayes bounds.

연구 동기 및 목표

• 딥러닝에서 일반화 경계 평가를 위한 일곱 가지 바람직한 조건(Desiderata)의 포괄적 세트를 수립하는 것 — 특히 확장성, 정확성, 이론적 엄밀성에 중점을 두고.
• VC 이론에서부터 PAC-Bayesian 접근까지 다양한 기존 일반화 경계를 이 바람직한 조건들에 따라 체계적으로 분류하고 평가하는 것.
• 기존의 파라미터 기반 사전 분포가 아닌 함수 수준의 분포에 중점을 두어, 이론적으로 탄탄한 새로운 일반화 경계를 유도하는 것.
• 제안된 마진럴리크리프스티브 PAC-Bayes 경계가 아키텍처와 데이터 복잡성 영향을 잘 포착하는지 경험적으로 검증하는 것.
• 이 경계의 성공이 SGD 훈련 네트워크에서 베이지안 추론과의 일치성에 기인한 이론적·실용적 의미를 탐색하는 것.

제안 방법

• 함수 기반 시각을 사용하여 일반화 오차에 대한 고확률 경계를 유도하며, 이 경계는 베이지안 마진럴리크리프스티브(증거)에 직접 비례한다.
• 실현 가능한 PAC-Bayes 프레임워크를 적용하여 일반화 오차에 대한 한쪽 방향 경계를 확보함으로써, SGD 훈련에서 실패하는 이중 방향 경계의 문제를 피한다.
• McAllester(1998)의 양자화자 역전 레마를 활용하여, 일반화 오차 경계가 일련의 사후 분포가 아닌, 베이지안 사후 분포 위에서 고확률로 성립하도록 유도한다.
• SGD로 훈련된 딥 네ural 네트워크에서 경계를 경험적으로 테스트하며, 다양한 아키텍처, 데이터셋 크기, 복잡성에서 실제 테스트 오차와 예측을 비교한다.
• 이전 연구(예: Mingard 등, 2020)에서 지지된 바와 같이 SGD와 베이지안 추론 간의 연결 고리를 활용하여, 실용적인 딥러닝 훈련에 대해 베이지안 유도 경계가 적용될 수 있음을 정당화한다.
• 파워-법 학습 곡선을 활용하여 경계의 성능을 검증하고, 훈련 세트 크기와 데이터 복잡성에 따라 경계가 정확하게 스케일링됨을 보여준다.

실험 결과

연구 질문

• RQ1 SGD로 훈련된 딥러닝 모델에서 마진럴리크리프스티브 기반의 PAC-Bayesian 경계가 일반화 오차를 얼마나 정확하게 예측할 수 있는가?
• RQ2 제안된 함수 기반 경계가 일반화 경계의 일곱 가지 바람직한 조건을 얼마나 잘 충족하는가, 특히 아키텍처와 데이터 복잡성 영향을 잘 포착하는가?
• RQ3 왜 함수 기반 PAC-Bayes 경계가 기존의 파rameter 기반 경계보다 일반화 성능 예측에서 뛰어나게 되는가?
• RQ4 베이지안 가정 하에 유도된 경계가 SGD로 훈련된 모델에 대해 엄밀히 정당화될 수 있는가?
• RQ5 이 경계의 성공이 딥러닝에서 SGD와 베이지안 추론 간의 관계 이해에 어떤 함의를 갖는가?

주요 결과

• 파워-법 학습 곡선을 가정할 경우, 대량 훈련 세트 근처에서 마진럴리크리프스티브 PAC-Bayes 경계는 상수 배수 이내로 최적화된다.
• 이 경계는 아키텍처 간의 차이를 성공적으로 포착하고 데이터 복잡성과 훈련 세트 크기에 따라 정확하게 스케일링되며, 바람직한 조건 1–3 및 5를 충족한다.
• 이 경계는 비어 있지 않고 진짜 일반화 오차에 정량적으로 가깝게, 다양한 설정에서 강력한 예측 능력을 보인다.
• 이 경계는 효율적으로 계산 가능하며 이론적으로 엄밀하여 바람직한 조건 6 및 7을 충족한다. 다만 계산 효율성에 대한 완전한 결론은 아직 남아 있다.
• 이 경계는 기존의 파rameter 기반 PAC-Bayes 경계보다 뛰어나게 성능을 발휘하며, 이는 직접적인 베이지안 마진럴리크리프스티브 및 함수 공간 모델링과의 연결 덕분이다.
• 경험적 결과는 SGD로 훈련된 DNN이 베이지안 추론에 가까운 확률로 함수를 샘플링한다는 것을 시사하며, 이는 이론적 기반은 베이지안 모델이지만 경계의 강력한 경험적 성능을 설명한다.