[논문 리뷰] Bayesian Batch Active Learning as Sparse Subset Approximation

Robert Pinsler, Jonathan Gordon외 2명|arXiv (Cornell University)|2019. 08. 06.

Machine Learning and Algorithms참고 문헌 45인용 수 43

한 줄 요약

ACS-FW를 소개하는 베이지안 배치 활성 학습 방법으로, Frank-Wolfe 최적화와 무작위 프로젝션을 사용해 희소 부분집합으로 전체 데이터 포스트eri어를 근사해 다양하고 정보가 풍부한 배치를 구성합니다.

ABSTRACT

Leveraging the wealth of unlabeled data produced in recent years provides great potential for improving supervised models. When the cost of acquiring labels is high, probabilistic active learning methods can be used to greedily select the most informative data points to be labeled. However, for many large-scale problems standard greedy procedures become computationally infeasible and suffer from negligible model change. In this paper, we introduce a novel Bayesian batch active learning approach that mitigates these issues. Our approach is motivated by approximating the complete data posterior of the model parameters. While naive batch construction methods result in correlated queries, our algorithm produces diverse batches that enable efficient active learning at scale. We derive interpretable closed-form solutions akin to existing active learning procedures for linear models, and generalize to arbitrary models using random projections. We demonstrate the benefits of our approach on several large-scale regression and classification tasks.

연구 동기 및 목표

• 레이즈大量 라벨링 비용이 발생하는 상황에서 감독 모델의 성능을 향상시키기 위해 대량의 비라벨 데이터 활용.
• highly correlated batch 쿼리를 방지하고 확장 가능한 배치 활성 학습을 가능하게 하기.
• 선형 및 프로빗 모델에 대한 해밀드형 해석을 제공하고, 프로젝션을 통해 임의의 모델에 대해 일반화 가능한 접근 방식을 제시하기.

제안 방법

• 배치 구성을 기대 전체 데이터 로그 포스터리에 대한 희소 부분집합 근사로 형식화한다.
• 0-1 배치 선택을 예산 제약이 있는 음이 아닌 가중치 벡터로 완화하고 힐베르트 공간에서 Frank-Wolfe를 통해 해결한다.
• L_m(θ)를 포인트별 로그가능도 기여도와 엔트로피 항으로 정의하고, 전체 풀 풀 기여를 근사하기 위해 가중합을 최적화한다.
• 데이터 포인트 간의 유사성을 내적으로 인코딩하며, 두 가지 구체적인 선택: 가중 피셔 내적과 가중 유클리드 내적을 사용한다.
• 가중 피셔 내적 설정에서 선형 및 프로빗 회귀에 대해 해석적으로 닫힌 형식을 제공한다.
• 큰 풀 크기에 대해 계산을 확장 가능하게 유지하기 위해 무작위 특징 프로젝션으로 비선형 모델로 확장한다.

실험 결과

연구 질문

• RQ1 제안된 ACS-FW 방법이 표준 배치 AL 전략에서 흔히 나타나는 고도로 상관된 배치 쿼리를 피할 수 있는가?
• RQ2 작은 데이터 상황에서 ACS-FW가 탐욕적 배치 AL 방법과 경쟁력이 있는가?
• RQ3 ACS-FW가 큰 데이터세트와 복잡한 모델에서도 성능을 유지하거나 향상시키면서 확장될 수 있는가?

주요 결과

• ACS-FW는 데이터 매니폴드를 커버하는 다양한 배치를 만들어 쿼리 중복을 감소시킨다.
• 작은 데이터 상황에서 ACS-FW는 랜덤 배치보다 성능이 뛰어나고, MaxEnt 기반 접근법과도 경쟁력이 있다.
• 데이터세트와 모델이 커질수록 프로젝션 기반의 ACS-FW는 수십만 개의 예제까지 확장되며 무작위 및 비확률적 기준선보다 우수하거나 동등하며 경쟁력 있는 배치 AL 방법과 대등한 성능을 보인다.
• 선형 및 프로빗 모델에 대한 해석적 표현은 기존 AL 방법과의 연결 및 직관적 레버리지와 같은 양념을 보여준다.
• 무작위 프로젝션은 어떤 합리적인 가능도에 대해서도 배치 구성의 모델 비의존적이고 확장 가능한 근사를 가능하게 한다.
• 회귀 및 분류 과제에 대한 실험 결과는 데이터 효율적인 학습 및 확장 가능한 런타임 성능을 보여준다.