[논문 리뷰] Early Stopping is Nonparametric Variational Inference

Dougal Maclaurin, David Duvenaud외 1명|arXiv (Cornell University)|2015. 04. 06.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 12

한 줄 요약

이 논문은 무수렴하는 확률적 경사하강법(Stochastic Gradient Descent, SGD)과 무작위 초기화를 통해 최적화 단계를 통해 초기 분포를 변환함으로써 암묵적인 비모수적 변분 추론을 수행한다고 제안한다. 이는 엔트로피 추적을 통한 확장 가능한 비편향 추정기로 변분 하한(lower bound)를 추정함으로써 검증 세트가 없이 하이퍼파rameter 최적화를 가능하게 하며, 딥러닝에서의 조기 정지와 앙상블의 이론적 기반을 제공한다.

ABSTRACT

We show that unconverged stochastic gradient descent can be interpreted as a procedure that samples from a nonparametric variational approximate posterior distribution. This distribution is implicitly defined as the transformation of an initial distribution by a sequence of optimization updates. By tracking the change in entropy over this sequence of transformations during optimization, we form a scalable, unbiased estimate of the variational lower bound on the log marginal likelihood. We can use this bound to optimize hyperparameters instead of using cross-validation. This Bayesian interpretation of SGD suggests improved, overfitting-resistant optimization procedures, and gives a theoretical foundation for popular tricks such as early stopping and ensembling. We investigate the properties of this marginal likelihood estimator on neural network models.

연구 동기 및 목표

• 조기 정지와 완전히 수렴하지 않은 최적화를 암묵적 비모수적 후행 근사에 기반한 변분 추론으로 이론적으로 해석하는 것.
• SGD 동안 엔트로피 추적을 이용해 로그 주변 가능도의 변분 하한에 대한 확장 가능하고 비편향된 추정기 개발.
• 추정된 주변 가능도를 활용해 검증 세트 없이 하이퍼파rameter 최적화를 가능하게 하는 것.
• 신경망에서 최적화 동역학에 의해 형성된 암묵적 변분 분포의 성질 분석.
• 랜덤 초기화를 가진 최적화 알고리즘이 후행 모드로 수렴하는 분포의 시퀀스를 어떻게 암묵적으로 정의하는지 탐구하는 것.

제안 방법

• SGD의 각 최적화 단계를 초기 파ram터 분포에 대한 결정적 변환으로 해석하여 암묵적 비모수적 변분 근사의 시퀀스를 형성한다.
• 최적화 단계 간 엔트로피 변화를 추적하여 각 반복에서 암묵적 변분 분포의 엔트로피를 추정한다.
• 엔트로피 추정치를 사용해 비편향적이며 확장 가능한 로그 주변 가능도의 하한을 계산하며, 이는 모델 선택의 대체 기준이 된다.
• 업데이트 규칙을 수정하여 더 안정된 암묵적 분포를 유지하는 '엔트로피 우호적'인 SGD의 변형을 제안한다.
• 추정기 추정을 신경망에 적용하여 교차 검증 대신 주변 가능도 추정치에 기반한 하이퍼파rameter 최적화를 가능하게 한다.
• 역방향 미분을 활용해 변분 파ram터, 특히 학습 하이퍼파ram터에 대한 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 무수렴하는 SGD는 비모수적 변분 후행 분포에서 샘플링으로 해석될 수 있는가?
• RQ2 SGD에 의해 형성된 암묵적 변분 분포의 엔트로피를 확장 가능하고 비편향된 방식으로 추정할 수 있는가?
• RQ3 변분 하한에서 추정된 주변 가능도가 테스트 데이터의 일반화 성능과 상관이 있는가?
• RQ4 검증 세트가 없이도 주변 가능도 추정기로 하이퍼파rameter를 최적화할 수 있는가?
• RQ5 최적화에서 유도된 암묵적 분포는 진정한 후행 분포와 품질과 집중도 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 랜덤 초기화를 가진 SGD의 각 반복이 후행 모드로 수렴하는 비모수적 변분 분포를 암묵적으로 정의함을 입증한다.
• 제안된 엔트로피 추정기는 수백만 개의 파라미터를 가진 모델에서도 비편향적이며 확장 가능한 로그 주변 가능도의 변분 하한 추정을 가능하게 한다.
• 주변 가능도 추정기는 테스트 성능과 합리적인 상관관계를 보이며, 신경망에서 검증 세트 없이 모델 선택이 가능할 잠재력을 보여준다.
• 이 방법은 반복 횟수에 대해 변분 하한을 최적화하는 것으로서 조기 정지의 이론적 근거를 제공한다.
• 다중 SGD 실행의 앙상블은 동일한 암묵적 변분 후행 분포에서 독립적으로 샘플링하는 것으로 자연스럽게 해석되며, 이는 그들의 경험적 성공을 설명한다.
• 엔트로피 우호적 변형 SGD는 더 안정적이고 정보가 풍부한 암묵적 분포를 유지하여 변분 근사의 품질을 향상시킨다.