[논문 리뷰] Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning

Alexander Immer, Matthias Bauer외 3명|arXiv (Cornell University)|2021. 04. 11.

Machine Learning and Data Classification인용 수 24

한 줄 요약

이 논문은 라플라스 방법과 가우스-뉴턴 및 경험적 히세 행렬 근사법을 사용하여 베이지안 딥러닝 모델 선택을 위한 확장 가능하고 온라인인 경계 우도 추정 방법을 제안한다. 이 방법은 훈련 데이터만으로 초모수 및 아키텍처 선택을 가능하게 하여, 검증 데이터가 적은 환경에서 교차 검증 및 수동 튜닝에 비해 캘리브레이션 및 OOD 탐지에서 뛰어난 성능을 발휘한다.

ABSTRACT

Marginal-likelihood based model-selection, even though promising, is rarely used in deep learning due to estimation difficulties. Instead, most approaches rely on validation data, which may not be readily available. In this work, we present a scalable marginal-likelihood estimation method to select both hyperparameters and network architectures, based on the training data alone. Some hyperparameters can be estimated online during training, simplifying the procedure. Our marginal-likelihood estimate is based on Laplace's method and Gauss-Newton approximations to the Hessian, and it outperforms cross-validation and manual-tuning on standard regression and image classification datasets, especially in terms of calibration and out-of-distribution detection. Our work shows that marginal likelihoods can improve generalization and be useful when validation data is unavailable (e.g., in nonstationary settings).

연구 동기 및 목표

• 경계 우도 추정이 비가역적이기 때문에 딥러닝에서 확장 가능한 베이지안 모델 선택의 부족을 해결하기 위해.
• 검증 세트에 의존하지 않고 훈련 데이터만으로 초모수 및 아키텍처 선택을 가능하게 하기 위해.
• 현대 딥러닝 네트워크에 적합한 계산 효율이 높고 온라인인 경계 우도 추정 방법을 개발하기 위해.
• 경계 우도 추정이 표준 실무 방식인 교차 검증 및 수동 튜닝보다 모델 일반화 및 불확실성 캘리브레이션 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이차 정보를 활용하여 경계 우도를 근사하기 위해 라플라스 방법을 사용한다.
• 확장 가능성을 확보하기 위해 히세 행렬의 일반화된 가우스-뉴턴(GGN) 및 경험적 히세 행렬(EF) 근사를 적용한다.
• 히세 행렬 추정의 계산 비용을 줄이기 위해 대각형 및 블록 대각형 근사를 적용한다.
• 기울기 기반 갱신을 통해 훈련 중에 미분 가능한 초모수(예: 사전 분산, 잡음 분산)를 온라인으로 최적화한다.
• 훈련 후에 추정된 경계 우도를 기반으로 순위를 매겨 이산적인 아키텍처 선택을 수행한다.
• Kronecker 인수분해 근사를 매 F=10 에포크마다 사용하여 표준 훈련 파이프라인에 최소한의 오버헤드로 통합한다.

실험 결과

연구 질문

• RQ1 현대 딥러닝 모델에 대해 경계 우도 추정을 확장 가능하고 실용적으로 만들 수 있는가?
• RQ2 검증 데이터가 없을 경우 경계 우도가 교차 검증 및 수동 튜닝을 초월할 수 있는가?
• RQ3 실제 벤치마크에서 경계 우도가 테스트 정확도 및 불확실성 캘리브레이션과 상관관계가 있는가?
• RQ4 경계 우도 추정을 사용해 훈련 중에 초모수를 온라인으로 최적화할 수 있는가?

주요 결과

• 제안된 방법은 회귀 및 이미지 분류 벤치마크에서 교차 검증과 동등하거나 뛰어난 성능을 보이며, 특히 캘리브레이션 및 외부 분포 탐지에서 뛰어나다.
• CIFAR-10 및 CIFAR-100에서 ResNets는 표준 CNN보다 더 높은 경계 우도를 기록하며, 파라미터 수가 지수적으로 많음에도 불구하고 더 좋은 일반화를 보여준다.
• CIFAR-10/100에서 테스트 정확도와 경계 우도 간의 순위 상관관계는 97%이며(Spearman의 ρ), 모델 성능과 강한 일치를 보인다.
• FashionMNIST에서 유사한 정확도를 기록한 경우 CNN은 MLP보다 더 높은 경계 우도를 기록하여 더 낮은 모델 복잡도가 더 좋은 경계 우도를 유도한다는 것을 시사한다.
• 이 방법은 일반화를 향상시키고 일반화 갭을 줄이며, 데이터 증강이 적용된 베이스라인 대비 NLL 및 ECE에서 최대 2배 높은 성능을 기록한다.
• 이 방법을 사용한 온라인 모델 선택은 단일 실행 훈련 시간의 약 ~2배로 수행되며, 시간 효율성 측면에서 교차 검증을 능가한다.