[논문 리뷰] Bayesian active learning for production, a systematic study and a reusable library

Parmida Atighehchian, Frédéric Branchaud-Charron외 1명|arXiv (Cornell University)|2020. 06. 17.

Machine Learning and Algorithms참고 문헌 24인용 수 10

한 줄 요약

이 논문은 실세계 배포를 위한 베이지안 주도 학습의 실용적 개선을 제안하며, 부분적 불확실성 샘플링과 더 큰 쿼리 크기를 도입하여 주도 학습 루프를 가속화한다. 이러한 기법들이 노이즈가 많고 불균형한 데이터셋인 Mio-TCD에서 성능을 유지함을 입증하며, 생산 환경에서의 확장 가능한 주도 학습을 위한 오픈소스 라이브러리 BaaL을 소개한다.

ABSTRACT

Active learning is able to reduce the amount of labelling effort by using a machine learning model to query the user for specific inputs. While there are many papers on new active learning techniques, these techniques rarely satisfy the constraints of a real-world project. In this paper, we analyse the main drawbacks of current active learning techniques and we present approaches to alleviate them. We do a systematic study on the effects of the most common issues of real-world datasets on the deep active learning process: model convergence, annotation error, and dataset imbalance. We derive two techniques that can speed up the active learning loop such as partial uncertainty sampling and larger query size. Finally, we present our open-source Bayesian active learning library, BaaL.

연구 동기 및 목표

• 모델 훈련 시간, 주석 비용, 데이터 품질 문제와 같은 실세계 배포 제약 조건과 학술적 주도 학습 방법 간 격차를 해소하기 위해.
• 모델 수렴 문제, 주석 오류, 클래스 불균형과 같은 일반적인 데이터 병리가 딥 주도 학습 성능에 미치는 영향을 조사하기 위해.
• 성능을 훼손하지 않으면서 계산 오버헤드를 줄이는 확장 가능하고 생산 환경에 적합한 주도 학습 기법을 개발하기 위해.
• 실세계 비학술적 데이터셋(Mio-TCD)에서 무거운 클래스 불균형과 주석 노이즈를 가진 상황에서 주도 학습의 효과를 입증하기 위해.
• 연구자와 실무자들이 대규모에서 주도 학습 실험을 수행할 수 있도록 지원하는 재사용 가능한 오픈소스 라이브러리 BaaL을 공개하기 위해.

제안 방법

• 딥 모델의 지식적 불확실성을 측정하기 위해 MC-Dropout과 BALD(Bayesian Active Learning by Disagreement)를 활용한 베이지안 불확실성 추정을 사용한다.
• 주기적인 모델 재훈련과 미레이블드 풀의 부분 집합에 대한 불확실성 재계산을 포함한 배치 주도 학습을 구현한다.
• 미레이블드 풀의 무작위 부분집합(≤25%)에 한해 불확실성 추정을 제한함으로써 계산 비용을 줄이는 부분적 불확실성 샘플링을 도입한다.
• 성능에 미치는 영향을 분석하기 위해 쿼리 크기(50에서 2000으로)를 증가시킨 영향을 평가하며, 더 큰 배치 크기가 유의미한 정확도 손실 없이 사용 가능함을 발견한다.
• 실세계 주석 노이즈가 존재하고 대규모로 불균형한 데이터셋인 Mio-TCD에 주도 학습을 적용하여 내구성을 평가한다.
• 모든 구성 요소를 BaaL이라는 모듈식이고 오픈소스 라이브러리로 통합하여, 모델 훈련에서 불확실성 샘플링에 이르기까지 주도 학습 워크플로우를 지원한다.

실험 결과

연구 질문

• RQ1 주석 오류, 클래스 불균형, 나쁜 모델 수렴과 같은 일반적인 데이터 병리가 딥 주도 학습 성능에 어떤 영향을 미치는가?
• RQ2 배치 주도 학습에서 쿼리 크기를 증가시키는 것이 정확도를 떨어뜨리지 않고 효율성을 향상시킬 수 있는가?
• RQ3 미레이블드 풀의 무작위 부분집합에 한해 불확실성 추정을 제한하는 것이 성능을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ4 실세계 비학술적 데이터셋에서 내재된 데이터 품질 문제를 가진 상황에서 베이지안 주도 학습은 얼마나 효과적인가?
• RQ5 Mio-TCD와 같은 불균형 데이터셋에서 주로 미반영되는 클래스에 대해 주도 학습이 성능을 크게 향상시킬 수 있는가?

주요 결과

• 미레이블드 풀의 25%만을 사용하는 부분적 불확실성 샘플링이 성능에 유의미한 하락 없이 불확실성 추정 시간을 3배 감소시킨다.
• 더 큰 쿼리 크기(최대 2000)는 경쟁적인 성능을 유지하며, CIFAR10에서 Entropy 기반의 취득 함수가 BALD보다 고 쿼리 크기에서 더 뛰어난 성능을 보였다.
• Mio-TCD 데이터셋에서 주도 학습은 무작위 샘플링 대비 미반영 클래스(예: Single-Unit Truck, Bicycle)의 F1 스코어를 크게 향상시켰다.
• BALD는 희귀 클래스에서 강력한 초기 성능 향상을 보였으며, 가장 빈번한 클래스(Cars)의 성능은 모든 취득 함수 간에 안정적으로 유지되었다.
• 이 연구는 주도 학습이 주석 노이즈와 불균형이 존재하는 실세계 데이터에서 효과적임을 확인하였으며, 생산 환경에서의 활용 가능성을 입증하였다.
• BaaL 라이브러리는 확장 가능하고 재현 가능한 주도 학습 실험을 가능하게 하며, 생산 파이프라인에의 통합을 지원한다.