[논문 리뷰] A Comparative Survey of Deep Active Learning

Xueying Zhan, Qingzhong Wang외 4명|arXiv (Cornell University)|2022. 03. 25.

Machine Learning and Algorithms인용 수 48

한 줄 요약

이 논문은 19개의 DAL 방법을 재구현하여 DeepAL+ 도구키트를 구축하고, 포괄적 교차 데이터세트 비교를 수행하며, 배치 크기와 학습 에포크와 같은 요인을 분석하여 공정하고 효과적인 DAL 실험을 안내한다.

ABSTRACT

While deep learning (DL) is data-hungry and usually relies on extensive labeled data to deliver good performance, Active Learning (AL) reduces labeling costs by selecting a small proportion of samples from unlabeled data for labeling and training. Therefore, Deep Active Learning (DAL) has risen as a feasible solution for maximizing model performance under a limited labeling cost/budget in recent years. Although abundant methods of DAL have been developed and various literature reviews conducted, the performance evaluation of DAL methods under fair comparison settings is not yet available. Our work intends to fill this gap. In this work, We construct a DAL toolkit, DeepAL+, by re-implementing 19 highly-cited DAL methods. We survey and categorize DAL-related works and construct comparative experiments across frequently used datasets and DAL algorithms. Additionally, we explore some factors (e.g., batch size, number of epochs in the training process) that influence the efficacy of DAL, which provides better references for researchers to design their DAL experiments or carry out DAL-related applications.

연구 동기 및 목표

• 레이블링 예산 하에서 Deep Active Learning(DAL) 방법의 공정하고 포괄적인 평가를 촉진한다.
• Leading DAL 방법을 DeepAL+에서 재구현하여 재현 가능한 DAL 벤치마킹 플랫폼을 제공한다.
• 질의 전략(불확실성, 대표성/다양성, 결합)과 향상 기법으로 DAL 방법을 조사한다.
• 학습 설정(배치 크기, 에포크) 및 데이터/모델 강화가 다양한 태스크에서 DAL 성능에 미치는 영향을 평가한다.
• 공정한 DAL 실험 설계 지침을 제시하고 도전 과제 및 향후 연구 방향을 식별한다.

제안 방법

• DeepAL+ 도구키트 내 19개의 고인용 DAL 방법의 재구현.
• 레이블 세트 LC와 비레이블 풀 LU를 사용하는 풀 기반 활성학습 구성.
• 공정한 비교를 보장하기 위해 일반적 백본(예: ResNet18)을 사용하는 분류 중심 태스크.
• 쿼리 전략을 불확실성 기반, 대표성/다양성 기반, 그리고 결합 접근으로 분류.
• 다양한 데이터세트에서의 평가(MNIST, FashionMNIST, EMNIST, SVHN, CIFAR 변형, TinyImageNet, BreakHis, Pneumonia-MNIST, Waterbird 등).
• 에포크 및 배치 크기 영향 분석, 시간 및 메모리 고려 사항, 사전 학습 영향.

실험 결과

연구 질문

• RQ1 동일한 학습 및 예산 조건에서 서로 다른 DAL 쿼리 전략(불확실성 기반, 대표성 기반, 결합)이 어떻게 비교되는가?
• RQ2 학습 하이퍼파라미터(에포크 수, 배치 크기)가 태스크 전반에 걸친 DAL 성능에 어떤 영향을 미치는가?
• RQ3 데이터/모델 향상 기법(가짜 라벨링, 데이터 증가, 앙상블, 손실함수 개선)이 데이터세트 전반에서 일관되게 DAL 성능을 향상시키는가?
• RQ4 사전 학습이 스퓨리어스 상관관계나 다양한 의미론을 가진 태스크에서 DAL 방법의 효과성에 어떤 영향을 주는가(예: Waterbird)?

주요 결과

• 불확실성 기반 DAL 방법은 표준 이미지 분류 태스크에서 Random 대비 평균적으로 약 1-3%의 미미한 개선을 제공하지만 모든 데이터세트에서 단일 방법이 지배적이지 않다.
• Two-stage 및 gradient-based 방법들(BADGE, WAAL)은 특정 태스크에서 경쟁력 있는 성능과 우호적 trade-off를 보이며, 특히 CIFAR100에서 그렇다.
• 대표성/다양성 방법들(KMeans, VAAL, VAAL 변형)은 종종 더 높은 메모리/시간 비용을 점유하고 여러 데이터세트에서 불확실성 기반 방법보다 일관된 이득을 주지 않는다.
• 사전 학습은 특정 경우(Waterbird)에서 더 나은 특성 표현을 제공하여 DAL 성능을 향상시킬 수 있지만 데이터세트와 태스크에 따라 효과가 다르게 나타난다.
• 아블레이션 연구는 더 많은 학습 에포크가 일부 방법의 성능을 높일 수 있음을 시사하지만 이득은 기하급수적으로 증가하지 않고, 더 큰 배치가 때로 반복 횟수의 이점을 감소시키기도 한다.
• 향상된 DAL 접근법들(LPL, WAAL, AdvBIM, CEAL)은 가능성을 보이지만 하이퍼파라미터 및 데이터세트 특성에 민감할 수 있으며 태스크에 따라 혼합된 결과를 보인다.