[논문 리뷰] Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles

Remus Pop, Patric Fulop|arXiv (Cornell University)|2018. 11. 09.

Machine Learning and Algorithms참고 문헌 32인용 수 25

한 줄 요약

이 논문은 몽테카를로 드롭아웃과 모델 앙상블을 조합하여 베이지안 활성 학습에서 발생하는 모드 붕괴 문제를 해결하는 딥 에너지 베이지안 활성 학습(DEBAL)을 제안한다. 앙상블의 통계적 안정성에 기반하여 DEBAL은 더 나은 불확실성 추정을 달성하여, 표준 MC-드롭아웃 방법에 비해 MNIST 및 CIFAR-10에서 더 빠른 수렴과 향상된 분류 성능을 보인다.

ABSTRACT

In image classification tasks, the ability of deep CNNs to deal with complex image data has proven to be unrivalled. However, they require large amounts of labeled training data to reach their full potential. In specialised domains such as healthcare, labeled data can be difficult and expensive to obtain. Active Learning aims to alleviate this problem, by reducing the amount of labelled data needed for a specific task while delivering satisfactory performance. We propose DEBAL, a new active learning strategy designed for deep neural networks. This method improves upon the current state-of-the-art deep Bayesian active learning method, which suffers from the mode collapse problem. We correct for this deficiency by making use of the expressive power and statistical properties of model ensembles. Our proposed method manages to capture superior data uncertainty, which translates into improved classification performance. We demonstrate empirically that our ensemble method yields faster convergence of CNNs trained on the MNIST and CIFAR-10 datasets.

연구 동기 및 목표

• 몬테카를로 드롭아웃 기반의 베이지안 활성 학습에서 발생하는 모드 붕괴 문제를 해결함으로써 과신된 예측과 열악한 불확실성 추정을 방지하기 위해.
• 모델 앙상블의 표현력과 통계적 성질을 통합하여 딥 활성 학습에서의 불확실성 정량화를 향상시키기 위해.
• 앙상블 기반의 불확실성 추정이 이미지 분류 작업에서 더 빠른 수렴과 향상된 성능을 이끌어내는지 경험적으로 검증하기 위해.
• 스토케스틱 앙상블(MC-드롭아웃 포함)이 활성 학습 환경에서 결정론적 앙상블보다 더 잘 校정된 불확실성을 제공하는지 입증하기 위해.
• 향상된 불확실성 표현이 안전 중심 응용 분야에서의 분포 이탈 및 대비 예측에 대한 강건성을 향상시킬 수 있는지 조사하기 위해.

제안 방법

• 몬테카를로 드롭아웃과 모델 앙상블을 조합하여 딥 활성 학습에서의 불확실성 추정을 향상시키는 하이브리드 방법인 딥 에너지 베이지안 활성 학습(DEBAL)을 제안한다.
• 단일 딥 네ural 네트워크의 사후 분포에서 샘플링하기 위해 몽테카를로 드롭아웃을 사용하며, 동시에 서로 다른 예측 분포를 포괄하기 위해 독립적인 다수의 모델을 앙상블로 학습한다.
• 예측 불확실성과 앙상블 구성원 간의 이견을 기반으로 가장 정보가 많은 샘플을 선택하기 위해 BALD(Bayesian Active Learning by Disagreement) 획득 함수를 사용한다.
• 결정론적 및 스토케스틱 앙상블 변형을 모두 적용하며, 후자의 경우 각 앙상블 구성원 내부에서 MC-드롭아웃을 사용하여 불확실성 캘리브레이션을 향상시킨다.
• 기대 정확도 대 관측 정확도와 Brier 점수를 사용하여 불확실성 캘리브레이션을 평가하여 불확실성 추정의 질을 측정한다.
• MNIST와 CIFAR-10에서 모델을 학습하고, 배치 획득 방식의 활성 학습을 적용하며, 다양한 불확실성 추정 전략 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 MC-드롭아웃에서의 모드 붕괴는 베이지안 활성 학습에서 과신된 예측과 성능 저하를 초래하는가?
• RQ2 모델 앙상블은 MC-드롭아웃 기반의 불확실성 추정에서 모드 붕괴 문제를 효과적으로 완화할 수 있는가?
• RQ3 MC-드롭아웃과 앙상블 학습을 조합하면 더 잘 校정된, 더 의미 있는 불확실성 추정이 가능한가?
• RQ4 DEBAL의 성능는 표준 MC-드롭아웃 및 결정론적 앙상블 방법에 비해 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ5 DEBAL에서 향상된 불확실성 표현은 분포 이탈 및 대비 예측에 대한 강건성을 향상시킬 수 있는가?

주요 결과

• DEBAL은 앙상블 예측의 다양성을 활용하여 모드 붕괴를 크게 감소시켜 더 신뢰할 수 있는 불확실성 추정을 가능하게 한다.
• 스토케스틱 앙상블(MC-드롭아웃 포함)은 결정론적 앙상블보다 더 나은 불확실성 캘리브레이션을 달성하였으며, Brier 점수에서 낮은 수치(0.0244 vs. 0.0297)로 이를 입증하였다.
• MNIST 및 CIFAR-10에서 DEBAL은 표준 MC-드롭아웃 활성 학습에 비해 더 빠른 수렴과 높은 최종 정확도를 달성하였다.
• 불확실성 히스토GRAM은 스토케스틱 앙상블이 더 의미 있는 불확실성 추정을 생성함을 보여주었으며, 특히 미리 보지 않은 데이터(NotMNIST)에서 불확실성이 증가할수록 정확도가 일관되게 감소하는 경향을 보였다.
• 스토케스틱 앙상블이 획득한 데이터로 결정론적 앙상블을 학습시켰을 때 성능 향상이 이루어졌으며, 이는 불확실성 추정에서 스토케스틱성의 유용성을 확인하는 데 기여하였다.
• 결과적으로 DEBAL의 향상된 불확실성 표현은 안전 중심 딥 러닝 응용 분야에서의 대비 강건성 문제 해결에 기여할 수 있음을 시사한다.