[논문 리뷰] On the Importance of Strong Baselines in Bayesian Deep Learning

Jishnu Mukhoti, Pontus Stenetorp외 1명|arXiv (Cornell University)|2018. 11. 23.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 27

한 줄 요약

이 논문은 베이지안 딥러닝 분야에서 널리 사용되는 기준 모델인 몬테카를로 드롭아웃이 동일한 학습 조건에서 평가될 경우 최신 기술(SOTA) 방법들을 능가하거나 그에 준하는 성능을 보임을 입증한다. 저자들은 이전 벤치마킹 관행에서 심각한 결함을 드러내며, 수렴까지 학습된 모델들과 뿐만 아니라 40 에포크만 학습된 기준 모델들을 비교함으로써 몇몇 최근 연구에서의 우월성 주장이 잘못되었음을 보여준다.

ABSTRACT

Like all sub-fields of machine learning Bayesian Deep Learning is driven by empirical validation of its theoretical proposals. Given the many aspects of an experiment it is always possible that minor or even major experimental flaws can slip by both authors and reviewers. One of the most popular experiments used to evaluate approximate inference techniques is the regression experiment on UCI datasets. However, in this experiment, models which have been trained to convergence have often been compared with baselines trained only for a fixed number of iterations. We find that a well-established baseline, Monte Carlo dropout, when evaluated under the same experimental settings shows significant improvements. In fact, the baseline outperforms or performs competitively with methods that claimed to be superior to the very same baseline method when they were introduced. Hence, by exposing this flaw in experimental procedure, we highlight the importance of using identical experimental setups to evaluate, compare, and benchmark methods in Bayesian Deep Learning.

연구 동기 및 목표

• 베이지안 딥러닝 방법 평가에 영향을 미치는 비일관된 실험 설정의 영향을 조사하기 위해.
• 벤치마킹에서 흔히 발생하는 결함을 특정하고 수정하기 위해: 수렴까지 학습된 모델들과 40 에포크만 학습된 기준 모델들을 비교하는 것.
• 동일한 조건에서 평가될 경우 잘 튜닝된 몬테카를로 드롭아웃(표준 기준 모델)이 주장된 최신 기술(SOTA) 방법들보다 경쟁력 있거나 더 우수한 성능을 보임을 입증하기 위해.
• 베이지안 딥러닝 연구에서 타당한 비교와 신뢰할 수 있는 향상 주장 보장을 위해 철저하고 일관된 실험 설정을 촉진하기 위해.

제안 방법

• 최근 SOTA 방법들과 동일한 실험 프로토콜을 사용하여 UCI 데이터셋에서 회귀 실험을 재평가하였으며, 수렴까지 학습하는 것을 포함하였다.
• 비교 대상 방법들과 동일한 초모수 및 학습 기간 동안 몬테카를로 드롭아웃 모델을 학습시켰다.
• 표준 평가 지표를 사용: 테스트 세트에서의 RMSE와 예측 로그우도.
• 공정한 비교를 위해 기준 모델들(예: VMG, HS-BNN, PBP-MV, SGHMC)을 수렴 설정 하에 재구현하고 재학습시켰다.
• 모든 데이터셋에서 몬테카를로 드롭아웃의 초모수 튜닝을 수행하여 최적 성능를 확보하였다.
• 원본 논문에서 발표된 값과 직접 비교하여 학습 기간과 설정의 영향을 고립시켰다.

실험 결과

연구 질문

• RQ1 몬테카를로 드롭아웃의 성능이 고정된 에포크 수로 학습된 경우에 비해 수렴까지 학습했을 때 유의미하게 향상되는가?
• RQ2 동일한 실험 조건에서 평가될 경우, 베이지안 딥러닝 방법들의 성능 순위는 어떻게 변화하는가?
• RQ3 이전 연구에서의 SOTA 성능 주장은 얼마나 많은 비합리적인 비교(예: 과도하게 낮은 학습 에포크 수를 가진 기준 모델)에 의존하는가?
• RQ4 동일한 조건에서 학습될 경우, 표준 기준 모델인 MC 드롭아웃이 더 복잡한 방법들을 능가할 수 있는가?
• RQ5 비일관된 학습 프로토콜은 베이지안 딥러닝 연구에서의 경험적 주장의 타당성에 어떤 영향을 미치는가?

주요 결과

• 몬테카를로 드롭아웃은 수렴까지 학습될 경우 여러 UCI 회귀 데이터셋에서 최신 기술(SOTA) 또는 거의 최신 기술(SOTA) 수준의 성능을 달성한다.
• 보스턴 주택, 콘크리트 강도, 레드 와인 품질 데이터셋에서 MC 드롭아웃은 VMG, HS-BNN, SGHMC를 모두 능가하는 최고의 로그우도 점수를 기록하였다.
• RMSE 기준으로 MC 드롭아웃은 콘크리트 강도, 항공우주 추진 시스템, 레드 와인 품질, 요트 수압역학 데이터셋에서 VMG, HS-BNN, SGHMC를 모두 능가하였다.
• 에너지 효율성 및 Kin8nm 데이터셋에서는 MC 드롭아웃이 최고 또는 두 번째로 우수한 성능을 기록하였으며, 초모수 튜닝 버전은 가장 낮은 RMSE를 기록하였다.
• 항공우주 추진 시스템 데이터셋에서는 MC 드롭아웃이 거의 완벽한 성능(RMSE ≈ 0.00)을 기록하여 모든 다른 방법들을 능가하였다.
• 결과적으로, VMG, HS-BNN, SGHMC 등의 방법들이 주장한 성능 우월성은 과도하게 낮은 학습 에포크 수를 가진 기준 모델들과의 비합리적 비교에 기인하여 잘못된 주장임을 시사한다.