[논문 리뷰] AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification

Romain Égelé, Romit Maulik외 4명|arXiv (Cornell University)|2021. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 4

한 줄 요약

AutoDEUQ는 예측 불확실성을 앨레아토릭성과 엔트로픽성으로 분해하는 총분산의 법칙을 활용하여, 신경망 아키텍처와 하이퍼파rameter를 동시에 탐색함으로써 다양하고 고성능인 딥 네ural 네트워크 앙상블을 자동으로 생성하는 방법을 제안한다. 이는 여러 회귀 벤치마크에서 확률적 역전파, 몬테카를로 드롭아웃 및 기타 앙상블 방법보다 예측 정확도와 불확실성 정량화 성능을 향상시킨다.

ABSTRACT

Deep neural networks are powerful predictors for a variety of tasks. However, they do not capture uncertainty directly. Using neural network ensembles to quantify uncertainty is competitive with approaches based on Bayesian neural networks while benefiting from better computational scalability. However, building ensembles of neural networks is a challenging task because, in addition to choosing the right neural architecture or hyperparameters for each member of the ensemble, there is an added cost of training each model. We propose AutoDEUQ, an automated approach for generating an ensemble of deep neural networks. Our approach leverages joint neural architecture and hyperparameter search to generate ensembles. We use the law of total variance to decompose the predictive variance of deep ensembles into aleatoric (data) and epistemic (model) uncertainties. We show that AutoDEUQ outperforms probabilistic backpropagation, Monte Carlo dropout, deep ensemble, distribution-free ensembles, and hyper ensemble methods on a number of regression benchmarks.

연구 동기 및 목표

• 딥 네트워크의 불확실성 정량화 문제, 특히 모델 파라미터 추정과 분포 외 예측에서 기인하는 엔트로픽성 불확실성에 대응하기 위해.
• 고정된 아키텍처를 가진 앙상블의 한계를 극복하기 위해 신경망 아키텍처와 하이퍼파ram터에 대한 자동 공동 탐색을 통해 모델 다양성을 확보하기 위해.
• 총분산의 법칙을 활용하여 예측 분산을 앨레아토릭성(데이터 기반)과 엔트로픽성(모델 기반) 성분으로 분해함으로써 불확실성 추정을 향상시키기 위해.
• 수동 튜닝 없이도 고성능 앙상블을 생성할 수 있는 확장 가능한 자동화 프레임워크를 개발하여 딥 러닝 예측의 강건성과 신뢰도를 향상시키기 위해.
• 다양한 회귀 벤치마크에서 방법을 평가하고 기존의 확립된 불확실성 정량화 기법들과의 성능 비교를 수행하기 위해.

제안 방법

• AutoDEUQ는 적응형 진화 베이지안 최적화(AgEBO) 프레임워크를 사용하여 신경망 아키텍처와 하이퍼파ram터에 대한 공동 탐색을 수행하여 다양한 앙상블 구성원을 생성한다.
• 예측 분산을 앨레아토릭성과 엔트로픽성 불확실성 성분으로 분해하기 위해 총분산의 법칙을 적용한다.
• 검증 손실을 최소화하면서 다양성을 유지하는 모델을 선택하는 그리디 모델 선택 전략을 사용하여 최종 앙상블를 구성한다.
• 모든 모델 구성(아키텍처 및 하이퍼파라미터)이 병렬적으로 여러 GPU를 통해 독립적으로 평가되도록 훈련을 수행한다.
• 검색 공간을 효율적으로 탐색하고 높은 예측 성능와 불확실성 캘리브레이션을 보이는 구성 요소를 우선순위로 정렬하기 위해 베이지안 최적화를 통합한다.
• 앙상블 예측은 평균을 취함으로써 계산되며, 불확실성 추정치는 앙상블 구성원들 간의 예측 분산에서 유도된다.

실험 결과

연구 질문

• RQ1 자동화된 프레임워크가 신경망 아키텍처와 하이퍼파라미터를 동시에 최적화하여 다양하고 고성능인 딥 네트워크 앙상블를 생성할 수 있는가?
• RQ2 예측 분산을 앨레아토릭성과 엔트로픽성 불확실성 성분으로 분해함으로써 딥 러닝 모델의 불확실성 정량화는 어떻게 향상되는가?
• RQ3 AutoDEUQ는 몬테카를로 드롭아웃, 확률적 역전파, 고정 아키텍처 앙상블 등 기존의 불확실성 정량화 기법들보다 회귀 벤치마크에서 성능이 뛰어나게 되는가?
• RQ4 공동 아키텍처 및 하이퍼파라미터 탐색에 의해 유도된 모델 다양성은 엔트로픽성 불확실성 추정에 얼마나 기여하는가?
• RQ5 AutoDEUQ는 다양한 크기와 복잡도를 가진 데이터셋에서 어떻게 확장되는가?

주요 결과

• AutoDEUQ는 예측 정확도와 불확실성 캘리브레이션 측면에서 여러 회귀 벤치마크에서 확률적 역전파, 몬테카를로 드롭아웃, 표준 딥 앙상블, 분포 무관 앙상블, 하이퍼엔셈블보다 뛰어난 성능을 보였다.
• 공동 아키텍처 및 하이퍼파라미터 탐색을 통해 모델 다양성을 활용함으로써 엔트로픽성 불확실성 추정을 향상시켜 단일 가설 수렴의 위험을 줄였다.
• 총분산의 법칙을 활용한 예측 분산 분해를 통해 앨레아토릭성과 엔트로픽성 불확실성 성분을 명확히 분리하고 정량화할 수 있었다.
• AutoDEUQ는 YearPrediction와 같은 대규모 데이터셋에서도 낮은 예측 손실과 잘 캘리브레이션된 불확실성 추정치를 기록하여 뛰어난 성능을 보였다.
• 대규모 검색 공간에서도 병렬 훈련과 효율적인 베이지안 최적화를 통해 계산 가능성을 유지하였다.
• 그리디 선택 전략을 통해 구성된 최종 앙상블는 개별 모델 및 기준 앙상블 방법보다 낮은 검증 손실을 기록하여 선택 전략의 효과성을 확인하였다.