[논문 리뷰] Noisy Batch Active Learning with Deterministic Annealing

Gaurav Gupta, Anit Kumar Sahu외 1명|arXiv (Cornell University)|2019. 09. 27.

Machine Learning and Algorithms참고 문헌 33인용 수 6

한 줄 요약

이 논문은 초기 학습 단계에서 모델의 불확실성에도 불구하고 다양하고 정보가 풍부한 샘플을 선택하기 위해 중요도 샘플링, 클러스터링, 결정론적 냉각을 결합한 노이즈 있는 배치 활성 학습 방법을 제안한다. 모델의 불확실성에도 불구하고 노이즈에 강건한 성능을 보이기 위해 레이어를 제거하는 기법을 도입하여, 정상 레이블과 노이즈 레이블 조건 하에서 MNIST, SVHN, CIFAR10, EMNIST에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We study the problem of training machine learning models incrementally with batches of samples annotated with noisy oracles. We select each batch of samples that are important and also diverse via clustering and importance sampling. More importantly, we incorporate model uncertainty into the sampling probability to compensate for poor estimation of the importance scores when the training data is too small to build a meaningful model. Experiments on benchmark image classification datasets (MNIST, SVHN, CIFAR10, and EMNIST) show improvement over existing active learning strategies. We introduce an extra denoising layer to deep networks to make active learning robust to label noises and show significant improvements.

연구 동기 및 목표

• 초기 학습 단계에서 학습 데이터가 부족할 때 모델의 불확실성이 너무 크기 때문에 신뢰할 수 있는 샘플 선택을 유도할 수 없는 활성 학습의 콜드 스타트 문제를 해결한다.
• 학습 데이터가 부족할 때 중요도 점수를 잘못 추정함으로써 발생하는 배치 활성 학습의 성능 저하 문제를 해결한다.
• 실제 환경(예: 커뮤니티 기반 레이블링)에서 흔히 발생하는 일관성 없거나 체계적으로 편향된 레이블을 가진 오라클에 대한 강건성을 향상시킨다.
• 클러스터링과 중요도 샘플링을 통해 동시에 다양성과 정보성 확보를 위한 배치 획득 전략을 개발한다.
• 딥 네트워크에 학습 가능한 노이즈 제거 레이어를 도입하여 활성 학습 기간 동안 레이블 노이즈의 영향을 최소화한다.

제안 방법

• 비라벨링된 샘플을 군집화하여 선택된 배치의 다양성을 확보하고, 대표적인 점들을 선별한다.
• 모델의 불확실성에 기반한 중요도 샘플링을 적용하여 정보가 풍부하고 불확실성이 높은 샘플을 우선순위로 선정한다.
• 선택 확률에 결정론적 냉각을 통합하여 모델 추정이 신뢰할 수 없을 때 선택 과정을 부드럽게 하고 분산을 줄인다.
• 다양성과 정보성의 균형을 맞추기 위해 클러스터링과 중요도 샘플링을 가중치 기반의 샘플링 전략으로 통합한다.
• 신경망 아키텍처에 학습 가능한 노이즈 제거 레이어를 도입하여 학습 중 레이블 노이즈를 걸러내도록 한다.
• 노이즈 제거 레이어를 포함한 전체 모델을 엔드 투 엔드로 훈련하여 활성 학습 반복 과정에서 노이즈 레이블를 보정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 부족한 초기 단계에서 모델 불확실성이 큰 상황에서 배치 활성 학습을 어떻게 강건하게 만들 수 있는가?
• RQ2 결정론적 냉각을 통해 모델 불확실성을 통합할 경우, 초기 활성 학습 단계에서 샘플 선택 품질이 얼마나 향상되는가?
• RQ3 딥 네트워크에 노이즈 제거 레이어를 도입하면 활성 학습에서 발생하는 레이블 노이즈로 인한 성능 저하를 효과적으로 완화할 수 있는가?
• RQ4 다양한 수준의 레이블 노이즈 하에서 제안된 방법이 최신 기술 수준(SOTA) 기반의 활성 학습 기법들과 정확도 및 강건성 측면에서 어떻게 비교되는가?
• RQ5 클러스터링, 중요도 샘플링, 불확실성 인식 샘플링의 조합이 기존의 배치 획득 전략보다 더 높은 성능을 내는가?

주요 결과

• 제안된 방법인 DeAn(Denoising with Annealing)은 정상 레이블과 노이즈 레이블 조건 하에서 MNIST, SVHN, CIFAR10, EMNIST에서 최고의 정확도를 달성한다.
• 20%의 레이블 노이즈(ε=0.2)가 있는 CIFAR10에서, DeAn은 32,000개의 샘플 이후 50.43%의 top-1 정확도를 기록하여 다음으로 좋은 방법(VAAL)보다 2.5% 이상 높다.
• 노이즈가 없는 설정에서는 모든 데이터셋과 획득 단계에서 모든 기준 기반 방법과 동일하거나 이를 초월하는 성능을 보인다.
• 노이즈 제거 레이어를 추가함으로써 노이즈 설정에서 평균 1.5~2.5%의 성능 향상이 있었으며, 이는 그 효과를 입증한다.
• CIFAR100에서 ε=0.1, 0.2, 0.3, 0.4의 모든 노이즈 수준에서 DeAn은 BALD, Coreset, Entropy, VAAL을 모두 초월하며, 32,000개 샘플 시점에서 최대 4.5%의 성능 향상을 기록한다.
• 냉각 기반 방법과 비교해 볼 때 DeAn은 초기 획득 라운드에서 더 빠른 수렴과 더 높은 정확도를 보이며 콜드 스타트 문제를 효과적으로 완화함을 입증한다.