[논문 리뷰] Parting with Illusions about Deep Active Learning

Sudhanshu Mittal, Maxim Tatarchenko외 2명|arXiv (Cornell University)|2019. 12. 11.

Machine Learning and Algorithms참고 문헌 47인용 수 28

한 줄 요약

이 논문은 현실적인 조건에서 최신 기술을 재현함으로써 딥 활성 학습(DAL) 방법을 철저히 평가한다. 현대적인 데이터 증강 기법과 준감독 학습(SSL)을 적용할 경우, 이전에 보고된 성능 향상 효과가 사라지는 것으로 드러났다. 저자들은 DAL 방법이 특히 저예산 환경에서 랜덤 샘플링보다 성능이 열 劣하다는 점을 입증하며, 향후 연구에서 공정하고 의미 있는 벤치마킹을 보장하기 위해 개선된 평가 프로토콜을 제안한다.

ABSTRACT

Active learning aims to reduce the high labeling cost involved in training machine learning models on large datasets by efficiently labeling only the most informative samples. Recently, deep active learning has shown success on various tasks. However, the conventional evaluation scheme used for deep active learning is below par. Current methods disregard some apparent parallel work in the closely related fields. Active learning methods are quite sensitive w.r.t. changes in the training procedure like data augmentation. They improve by a large-margin when integrated with semi-supervised learning, but barely perform better than the random baseline. We re-implement various latest active learning approaches for image classification and evaluate them under more realistic settings. We further validate our findings for semantic segmentation. Based on our observations, we realistically assess the current state of the field and propose a more suitable evaluation protocol.

연구 동기 및 목표

• 딥 활성 학습이 레이블링 비용을 크게 줄일 수 있다는 일반적인 인식을 도전하기 위해, 더 현실적인 실험 조건에서 방법을 재평가하는 것.
• 현재의 벤치마크에서 자주 간과되는 현대적인 데이터 증강 및 준감독 학습(SSL)이 활성 학습 방법의 성능에 미치는 영향을 조사하는 것.
• 실제 적용에 가장 중요한 저예산 환경에서 활성 학습의 효과를 평가하는 것—여기서 레이블링 비용이 가장 높기 때문이다.
• 세그멘테이션과 같이 레이블링 비용이 높은 작업에서 활성 학습이 실질적인 이점을 제공하는지 평가하는 것—여기서 효율성 향상이 가장 유의미할 수 있다.
• 향후 활성 학습 방법의 공정한 비교와 정확한 평가를 보장하기 위해, 더 엄격한 평가 프로토콜을 제안하는 것.

제안 방법

• 일관된 아키텍처, 데이터 증강, 학습 절차를 사용하여 이미지 분류 및 세그멘테이션을 위한 최신 기술의 활성 학습 방법을 재현하였다.
• 모든 방법에 일관되게 현대적인 데이터 증강 기법(예: RandAugment)을 적용하여 성능 순위에 미치는 영향을 평가하였다.
• 최신 준감독 학습(SSL) 방법—예를 들어 일관성 학습 및 가짜 레이블링—을 활성 학습 파이프라인에 통합하여 상대적 성능 향상을 평가하였다.
• 이미지 수준과 폴리곤 수준의 레이블링 환경을 모두 고려하여 세그멘테이션에서의 성능을 평가하였으며, 이는 각 쿼리에서 이미지의 일부 영역만 레이블링된 상태를 의미한다.
• 이미지 수준 및 폴리곤 수준 설정 모두에서 엔트로피 기반 불확실성 및 랜덤 샘플링을 쿼리 전략으로 사용하여 설정 간 성능을 비교하였다.
• 다양한 데이터셋 커버리지, 최신 증강 기법 사용, SSL과의 직접 비교, 저예산 환경 포함이라는 네 가지 핵심 원칙을 바탕으로 새로운 평가 프로토콜을 수립하였다.

실험 결과

연구 질문

• RQ1 현대적인 데이터 증강을 적용할 경우, 이미지 분류에서 활성 학습 방법의 상대적 성능 순위는 어떻게 변화하는가?
• RQ2 최근 준감독 학습 분야의 발전이 활성 학습 성능에 얼마나 큰 영향을 미치며, 이는 신규 활성 학습 쿼리 전략의 성능 향상 효과를 압도하는가?
• RQ3 저예산 환경에서 활성 학습 방법은 어떻게 작동하는가—특히 레이블링 예산이 적을 경우, 이는 가장 필요한 상황이다.
• RQ4 세그멘테이션과 같이 레이블링이 시간과 비용이 많이 드는 작업에서 활성 학습이 실질적인 이점을 제공할 수 있는가?
• RQ5 왜 많은 활성 학습 방법이 특히 저예산 설정에서 랜덤 샘플링보다 성능이 열 劣하는가? 이에 배경이 되는 잠재적 편향은 무엇인가?

주요 결과

• 현대적인 데이터 증강을 일관되게 적용할 경우, 모든 활성 학습 방법이 거의 동일한 성능을 보이며, 상대적 성능 차이가 실질적으로 사라진다.
• 기존의 활성 학습 쿼리 전략보다도 표준 활성 학습 파이프라인에 통합된 준감독 학습 방법이 훨씬 높은 성능 향상을 이룬다.
• 저예산 환경에서는 활성 학습 방법이 랜덤 샘플링보다 성능이 열 劣하는 경우가 많으며, 이는 쿼리 전략이 유도하는 선택 편향이 모델 일반화 능력을 해칠 수 있음을 시사한다.
• 세그멘테이션 작업에서는 랜덤 샘플링과 SSL 조합(예: SSL-Random-Image)이 엔트로피 기반 선택을 포함한 모든 폴리곤 수준 활성 학습 전략보다 뛰어난 성능을 보였다.
• SSL과 랜덤 샘플링의 조합는 불확실성 기반 또는 표현 기반 쿼리 전략을 사용하는 모든 활성 학습 방법보다 항상 뛰어난 성능을 보였다.
• 현재 딥 활성 학습 분야의 평가 프로토콜은 근본적으로 잘못되어 있으며, 방법의 성능 및 분야의 현재 상태에 대한 오해를 초래하고 있다.