[논문 리뷰] The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers

Preetum Nakkiran, Behnam Neyshabur외 1명|arXiv (Cornell University)|2020. 10. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 77인용 수 15

한 줄 요약

이 논문은 테스트 오차를 '모집단 손실(이상적 세계)에서의 온라인 학습 성능'과 유한한 데이터로 인한 부트스트랩 오차 갭으로 분해하는 새로운 프레임워크인 딥 부트스트랩 프레임워크를 소개한다. 실증적으로, 특히 컬러넷(CNNs)의 경우 부트스트랩 갭이 작음을 보여주며, 이는 좋은 일반화 성능이 단지 데이터 효율성 때문이 아니라, 모델이 모집단 손실에서 빠르게 최적화되기 때문임을 시사한다.

ABSTRACT

We propose a new framework for reasoning about generalization in deep learning. The core idea is to couple the Real World, where optimizers take stochastic gradient steps on the empirical loss, to an Ideal World, where optimizers take steps on the population loss. This leads to an alternate decomposition of test error into: (1) the Ideal World test error plus (2) the gap between the two worlds. If the gap (2) is universally small, this reduces the problem of generalization in offline learning to the problem of optimization in online learning. We then give empirical evidence that this gap between worlds can be small in realistic deep learning settings, in particular supervised image classification. For example, CNNs generalize better than MLPs on image distributions in the Real World, but this is "because" they optimize faster on the population loss in the Ideal World. This suggests our framework is a useful tool for understanding generalization in deep learning, and lays a foundation for future research in the area.

연구 동기 및 목표

• 모델이 훈련 오차가 0이 되지만도 잘 일반화되는 딥 러닝에서 전통적인 일반화 이론의 한계를 해결한다.
• 현대 딥 네트워크에서 성능을 예측하지 못하는 기존 일반화 경계의 공허함을 극복한다.
• 모수 손실 최적화와 유한 샘플 편차를 분리하는 테스트 오차의 새로운 분해를 제안한다.
• 무한 데이터 환경에서의 온라인 최적화와 유한 샘플 부트스트랩 효과를 중심으로 한 새로운 연구 방향을 설정한다.

제안 방법

• 두 세계를 정의한다: 실제 세계(Rеal World, 유한한 데이터에서 경사하강법을 사용)와 이상적 세계(Ideal World, 각 단계에서 새로운 샘플을 사용해 전체 모집단 손실에서 학습).
• 테스트 오차를 다음과 같이 분해한다: TestError(f_t) = TestError(f^iid_t) + [TestError(f_t) - TestError(f^iid_t)], 여기서 f^iid_t는 이상적 세계에서 훈련된 모델이다.
• 이상적 세계의 테스트 오차를 진정한 데이터 분포에서의 온라인 최적화 성능의 대체 지표로 사용한다.
• 부트스트랩 오차를 실제 세계와 이상적 세계의 테스트 오차 간의 차이로 측정하며, 이는 유한 샘플 편차를 반영한다.
• 동일한 아키텍처와 하이퍼파라미터를 사용하지만, 다른 샘플링 전략(재사용 vs. 신규 샘플)을 적용해 두 세계에서 모델을 훈련시킨다.
• CIFAR-10 유사 및 ImageNet 데이터셋에서 실증적으로 프레임워크를 평가하며, 다양한 데이터 제약 조건에서 컬러넷과 MLP를 비교한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 일반화 성능이 모델이 모집단 손실에서 얼마나 신속하게 최적화하는지에 의해 설명될 수 있는가?
• RQ2 실제 딥 러닝 환경에서 유한 데이터(실제 세계)와 무한 데이터(이상적 세계) 훈련 간의 부트스트랩 오차 갭은 얼마나 작은가?
• RQ3 유사한 인덕티브 바이어스를 가진 경우에도 컬러넷이 이미지 데이터셋에서 MLP보다 더 잘 일반화되는 이유는 무엇인가?
• RQ4 실제 세계의 테스트 오차를 예측하는 데 있어 이상적 세계의 테스트 오차가 실제로 얼마나 잘 예측하는가?
• RQ5 기존 접근 방식에 비해 더 예측 가능하고 해석 가능한 일반화 이론을 제공할 수 있는가?

주요 결과

• 실제 세계와 이상적 세계 훈련 간의 부트스트랩 오차 갭은 실증적으로 작으며, 특히 컬러넷의 경우 더욱 그렇다. 이는 일반화가 주로 모집단 손실에서의 최적화 성능에 의해 결정됨을 시사한다.
• 컬러넷이 이미지 데이터셋에서 MLP보다 더 잘 일반화되는 것은 아키텍처의 편향 때문이 아니라, 이상적 세계에서 모집단 손실에서 더 신속하게 최적화되기 때문이다.
• 다양한 아키텍처와 데이터 제약 조건에서 이상적 세계의 테스트 오차가 실제 세계의 테스트 오차와 밀접하게 일치함을 확인하여, 프레임워크의 예측 능력을 검증하였다.
• 500만 개의 샘플을 사용한 CIFAR-10에서의 ResNet-18에 대해 이상적 세계의 테스트 오차는 실제 세계의 테스트 오차와 1.5% 이내로 매우 유사하며, 기존 분해 방식에서는 큰 일반화 갭이 나타나지만 이 프레임워크에서는 이 갭이 작게 나타남을 보였다.
• 이 프레임워크는 딥 러닝에서 일반화가 유한 샘플 일반화 갭이 아니라, 진정한 데이터 분포에서의 온라인 최적화의 성질로 더 잘 이해되어야 한다고 밝혔다.
• 실증 결과는 기존 일반화 경계가 실패할 수 있는 상황에서도 부트스트랩 프레임워크가 아키텍처 간의 일반화 차이를 설명할 수 있음을 보여주었다.