[논문 리뷰] BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning

Andreas Kirsch, Joost van Amersfoort외 1명|arXiv (Cornell University)|2019. 06. 19.

Machine Learning and Algorithms참고 문헌 34인용 수 192

한 줄 요약

BatchBALD는 라벨 묶음과 모델 매개변수 간의 상호정보를 모델링하여 다양한 배치를 함께 선택하는 계산적이고 탐욕적인 1-1/e 근사 획득 함수로서, 심층 베이지안 활성 학습에서 BALD에 비해 데이터 효율성을 향상시킨다.

ABSTRACT

We develop BatchBALD, a tractable approximation to the mutual information between a batch of points and model parameters, which we use as an acquisition function to select multiple informative points jointly for the task of deep Bayesian active learning. BatchBALD is a greedy linear-time $1 - \frac{1}{e}$-approximate algorithm amenable to dynamic programming and efficient caching. We compare BatchBALD to the commonly used approach for batch data acquisition and find that the current approach acquires similar and redundant points, sometimes performing worse than randomly acquiring data. We finish by showing that, using BatchBALD to consider dependencies within an acquisition batch, we achieve new state of the art performance on standard benchmarks, providing substantial data efficiency improvements in batch acquisition.

연구 동기 및 목표

• 베이지안 신경망을 활용한 활성 학습을 통해 심층 학습에서 데이터 효율성을 촉진한다.
• 배치 내 의존성과 다양성을 고려하여 데이터 포인트의 배치를 공동으로 선택하도록 BALD를 확장한다.
• 다양하고 정보성이 높은 배치를 생성하는 해가 가능한 알고리즘을 보장과 함께 제공한다.
• 표준 이미지 데이터셋에서 향상된 데이터 효율성과 학습 속도를 입증한다.

제안 방법

• BatchBALD를 데이터 배치가 주어졌을 때 레이블 배치와 모델 매개변수 간의 상호정보로 정의한다.
• 배치를 효율적으로 선택하기 위한 탐욕적이고 1-1/e 근사 알고리즘(알고리즘 1)을 제안한다.
• BatchBALD가 독립적인 BALD 점수를 합산하는 대신 μ*(⋃ yi ∩ ω)를 통한 배치 정보의 합집합을 사용하여 중복을 줄이는 것을 보인다.
• ω의 k 샘플과 합동 엔트로피의 MC 추정치를 사용하여 BatchBALD 점수를 계산하는 몬테카를로 추정기를 도출한다.
• 더 큰 배치를 처리하기 위해 p(y1:n|ω)를 팩터라이즈하고 캐싱/행렬 연산을 사용하여 효율적인 계산을 구현한다.
• BatchBALD가 다룰 수 있음을 보여주는 복잡도 경계를 제공한다 (O(b c min{c^b, m} |D_pool| k)).

실험 결과

연구 질문

• RQ1 수집 배치 내의 결합 정보와 다양성을 고려하여 Naive BALD에 비해 BatchBALD가 데이터 효율성을 향상시키는가?
• RQ2 탐욕적 1-1/e 근사 BatchBALD 배치 선택이 계산 가능하고 거의 최적에 근접한 성능을 달성할 수 있는가?
• RQ3 표준 활성 학습 벤치마크(MNIST, EMNIST)와 전이 학습(CINIC-10)에서 BALD 및 임의 획득에 비해 BatchBALD의 성능은 어떤가?
• RQ4 딥 베이지안 활성 학습에서 배치 크기가 다양성과 학습 효율성에 미치는 영향은 무엇인가?
• RQ5 BatchBALD 성능에 영향을 주는 실용적 구현 고려사항(MC 드롭아웃 일관성, 재초기화, 계산 등)은 무엇인가?

주요 결과

• BatchBALD는 획득 크기가 증가할 때 BALD보다 우수하며 더 큰 배치에서도 강한 성능을 유지한다.
• BatchBALD는 더 다양한 획득 데이터를 제공하고 예측 클래스 분포의 다양성도 더 높아진다(EMNIST 결과).
• MNIST에서 획득 사이즈가 10인 BatchBALD는 사이즈 1의 이상적인 BALD에 근접한 성능을 보이며, 전체적으로 사이즈 1의 BALD보다 더 빠르다.
• BatchBALD는 BALD 및 임의 획득에 비해 MNIST, EMNIST, CINIC-10 전이 학습 실험에서 데이터 효율성을 향상시킨다.
• 나이브 BALD 배치는 중복 데이터 상황에서 성능이 저하될 수 있는 반면, BatchBALD는 데이터의 중복 및 복제에 대해 견고하다.