[논문 리뷰] Deep Bayesian Active Learning with Image Data

Yarin Gal, Riashat Islam외 1명|arXiv (Cornell University)|2017. 03. 08.

Machine Learning and Algorithms참고 문헌 29인용 수 577

한 줄 요약

이 논문은 Bayesian CNN과 MC 드롭아웃을 사용하여 불확실성을 정량화하고, MNIST와 피부암 진단에서 baseline 및 준지도 방법과 비교했을 때 라벨 효율성을 향상시키는 고차원 이미지 데이터용 활성 학습 프레임워크를 제안한다.

ABSTRACT

Even though active learning forms an important pillar of machine learning, deep learning tools are not prevalent within it. Deep learning poses several difficulties when used in an active learning setting. First, active learning (AL) methods generally rely on being able to learn and update models from small amounts of data. Recent advances in deep learning, on the other hand, are notorious for their dependence on large amounts of data. Second, many AL acquisition functions rely on model uncertainty, yet deep learning methods rarely represent such model uncertainty. In this paper we combine recent advances in Bayesian deep learning into the active learning framework in a practical way. We develop an active learning framework for high dimensional data, a task which has been extremely challenging so far, with very sparse existing literature. Taking advantage of specialised models such as Bayesian convolutional neural networks, we demonstrate our active learning techniques with image data, obtaining a significant improvement on existing active learning approaches. We demonstrate this on both the MNIST dataset, as well as for skin cancer diagnosis from lesion images (ISIC2016 task).

연구 동기 및 목표

• 고차원 이미지 데이터에 대한 활성 학습의 동기를 제시하고 라벨링 비용을 줄인다.
• 예측 불확실성을 표현하기 위한 Bayesian CNN 프레임워크를 개발한다.
• 이미지 설정에서 획득 함수(BALD, BALD 변형, 엔트로피, Variation Ratios 등)를 평가한다.
• 커널 기반 AL, 결정론적 CNN 베이스라인, 그리고 준지도 방법과 비교한다.
• ISIC 2016 데이터를 사용한 흑색종 분류에서 실제 응용 가능성을 입증한다.

제안 방법

• 가중치의 불확실성을 모델링하기 위한 변분 근사로 드롭아웃을 사용하는 베이지안 합성곱 신경망(Bayesian CNN)을 사용한다.
• 각 계층 전에 드롭아웃으로 학습하고 테스트 시 MC 드롭아웃을 수행하여 근사 후뿌에서 샘플링한다.
• 모델 매개변수의 MC 샘플을 사용하여 획득 함수(BALD, Max Entropy, Variation Ratios, Mean STD, Random)를 정의하고 근사한다.
• 근사 사후에 대한 MC 적분을 통해 계산적으로 실현 가능한 BALD 및 관련 획득 추정치를 도출한다.
• 작은 초기 라벨링 데이터와 비라벨링 데이터 풀에서 MNIST에 대한 획득 전략을 평가한다.
• 실제 의학 과제에서 활성 학습을 평가하기 위해 사전 학습된 VGG16 CNN을 ISIC 2016 흑색종 데이터에 미세조정한다.

실험 결과

연구 질문

• RQ1 MC 드롭아웃이 포함된 Bayesian CNN이 고차원 이미지 데이터에서 활성 학습을 위한 신뢰할 만한 불확실성 추정치를 제공할 수 있는가?
• RQ2 딥 모델을 사용할 때 어떤 획득 함수(BALD, Max Entropy, Variation Ratios 등)가 라벨링에 대한 데이터 효율성을 최상으로 제공하는가?
• RQ3 이미지 분류 작업에서 활성 학습 전략은 커널 기반 AL 및 준지도 접근법과 어떻게 비교되는가?
• RQ4 제한된 라벨에서 모델 불확실성과 데이터 불확실성(암시적 불확실성) 간의 영향은 무엇인가?

주요 결과

Table 1: MNIST acquisition steps and test error (%) by method	Table 2: MNIST test error with 1000 labeled samples across methods (percent)
10%	145	120	165	230	255
5%	335	295	355	695	835
Semi-supervised: Semi-sup. Embedding (Weston et al. 2012)	5.73%
Transductive SVM (Weston et al. 2012)	5.38%
MTC (Rifai et al. 2011)	3.64%
Pseudo-label (Lee, 2013)	3.46%
AtlasRBF (Pitelis et al. 2014)	3.68%
DGN (Kingma et al. 2014)	2.40%
Virtual Adversarial (Miyato et al. 2015)	1.32%
Ladder Network (Γ-model) (Rasmus et al. 2015)	1.53%
Ladder Network (full) (Rasmus et al. 2015)	0.84%
Random	4.66%
BALD	1.80%
Max Entropy	1.74%
Var Ratios	1.64%

• BALD, Variation Ratios, and Max Entropy achieve better data efficiency than Random or Mean STD in MNIST, reducing labeled data required to reach target error.
• Variation Ratios can converge faster in MNIST, while Mean STD often underperforms relative to smarter acquisition strategies.
• Bayesian CNNs with MC dropout outperform deterministic CNNs in early learning and final accuracy when using uncertainty-based acquisitions.
• Compared to kernel-based AL (MBR) on MNIST, CNN-based AL with BALD/entropy approaches yields superior accuracy with fewer labeled examples.
• Active learning with BALD on ISIC melanoma data improves AUC faster and tends to acquire more informative positive examples than uniform sampling.
• Active learning performance with small data is sensitive to data splits, highlighting variability in medical imaging datasets.