[논문 리뷰] Large-Scale Visual Active Learning with Deep Probabilistic Ensembles

Kashyap Chitta, José M. Alvarez외 1명|arXiv (Cornell University)|2018. 11. 08.

Machine Learning and Algorithms참고 문헌 57인용 수 29

한 줄 요약

이 논문은 깊이 있는 신경망 앙상블이 베이지안 신경망을 근사할 수 있도록 KL 정규화를 사용하는 확장 가능한 방법인 딥 확률적 앙상블(DPEs)을 제안한다. 이는 활성 학습에서 신뢰할 수 있는 불확실성 추정을 가능하게 하며, 대규모 이미지 분류(CIFAR-10, CIFAR-100, ImageNet)와 세분화(BDD100k)에서 최고 성능을 기록한다. 특히 희귀 클래스에 대해 더 나은 성능을 내며, 레이블링 비용을 최대 32%까지 절감한다.

ABSTRACT

Annotating the right data for training deep neural networks is an important challenge. Active learning using uncertainty estimates from Bayesian Neural Networks (BNNs) could provide an effective solution to this. Despite being theoretically principled, BNNs require approximations to be applied to large-scale problems, where both performance and uncertainty estimation are crucial. In this paper, we introduce Deep Probabilistic Ensembles (DPEs), a scalable technique that uses a regularized ensemble to approximate a deep BNN. We conduct a series of large-scale visual active learning experiments to evaluate DPEs on classification with the CIFAR-10, CIFAR-100 and ImageNet datasets, and semantic segmentation with the BDD100k dataset. Our models require significantly less training data to achieve competitive performances, and steadily improve upon strong active learning baselines as the annotation budget is increased.

연구 동기 및 목표

• 대규모 딥 러닝에서 annotation을 위한 정보성 샘플 선택 문제를 다루며, 불확실성 추정이 필수적이지만 계산 비용이 큰 문제를 해결한다.
• 대규모 모델과 데이터셋에 대해 확장성과 불확실성 추정에서 한계가 있는 베이지안 신경망(BNNs)의 문제점을 해결한다.
• 앙상블의 확장성과 효율성과 함께 베이지안 불확실성의 신뢰성을 결합하여 활성 학습 성능을 향상시킨다.
• BDD100k와 같은 장꼬리 분포 데이터셋에서 희귀 클래스가 포함된 세분화 작업에서 효과적인 활성 학습을 가능하게 한다.
• 기존 딥 러닝 파이프라인에 쉽게 통합되며, 상당한 계산 오버헤드 없이 실용적이고 즉시 사용 가능한 방법을 개발한다.

제안 방법

• 딥 확률적 앙상블(DPEs)을 제안한다. 이는 베이지안 신경망의 변분 추론을 KL 발산 정규화를 통해 근사하는 정규화된 앙상블 방법이다.
• 동일한 아키텍처를 공유하지만 다른 무작위 초기화를 가진 여러 개의 깊이 있는 신경망을 훈련하며, 각 모델의 가중치와 공통된 사전분포 사이에 KL 정규화 항을 적용한다.
• 모델 간 예측 분산을 사용해 모델 불확실성의 대체 지표로 삼고, 이는 불확실성 인식 활성 학습의 취득 함수를 가능하게 한다.
• 희귀 클래스를 우선시하기 위해 클래스 가중치가 적용된 취득 함수 $V_w = \sum_{k \in K} \mathbf{w}_k \text{Var}_e(\mathbf{p}_k^{(e)})$ 를 도입한다.
• 표준 훈련 및 추론 파이프라인을 사용하여 이미지 분류 및 세분화 작업에 DPEs 를 적용하며, 아키텍처 변경을 최소화한다.
• 정규화 항의 소규모 훈련 오버헤드 외에는 표준 앙상블과 동일한 계산 비용을 유지함으로써 추론 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 정규화된 앙상블 접근법이 대규모 시각 작업에 대해 깊이 있는 신경망에서 베이지안 불확실성을 효과적으로 근사할 수 있는가?
• RQ2 제안된 KL 정규화 앙상블 방법이 표준 앙상블 및 기존 활성 학습 기준선보다 이미지 분류 벤치마크에서 샘플 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ3 DPEs 는 장꼬리 분포 데이터셋에서 희귀 또는 희귀 클래스가 포함된 세분화 작업에서 활성 학습 성능을 향상시킬 수 있는가?
• RQ4 클래스 가중 취득 함수 $V_w$ 는 표준 불확실성 취득 함수에 비해 특정 타겟 클래스의 성능 향상에 어떻게 기여하는가?
• RQ5 DPEs 는 ImageNet과 BDD100k와 같은 대규모 데이터셋에서 높은 성능에 도달하기 위해 필요한 annotation 예산을 얼마나 줄일 수 있는가?

주요 결과

• CIFAR-10, CIFAR-100, ImageNet에서 DPEs 는 최고 성능의 활성 학습 성능를 기록하며, 강력한 기준선을 능가하고 최대 32%까지 레이블링 예산을 절감하여 상한 정확도의 95%에 도달한다.
• BDD100k에서의 세분화 작업에서, DPEs 는 무작위 샘플링 대비 평균 IoU 2% 향상, 표준 앙상블 대비 1% 향상(26.9k개 훈련 캐비닛 기준)을 기록한다.
• 기타 클래스(예: 자전거, 240개 훈련 인스턴스)에 대해 DPEs 는 무작위 기준선 대비 IoU 에서 20%p 절대적 향상을 기록한다.
• 클래스 가중 취득 함수 $V_w$ 를 사용함으로써 DPEs 는 교통 표지 클래스에 대해 표준 불확실성 취득 함수 대비 IoU 를 2% 향상시키며, 완전 지도 학습 상한에 대한 격차를 3.7%에서 1.7%로 줄였다.
• DPEs 는 훈련 데이터의 32%만 사용해 완전 지도 학습 상한 성능의 96.2%를 복구하여 매우 높은 샘플 효율성을 입증했다.
• 메서드는 표준 앙상블과 유사한 추론 속도를 유지하며, 훈련 시 오버헤드도 미미하여 실세계 구현에 실용적이다.