[논문 리뷰] Prediction-Oriented Bayesian Active Learning

Freddie Bickford Smith, Andreas Kirsch외 4명|arXiv (Cornell University)|2023. 04. 17.

Machine Learning and Algorithms인용 수 7

한 줄 요약

EPIG, 예측 중심의 획득 함수는 예측에서의 정보 이득을 모델 매개변수가 아닌 것으로 측정하여 BALD를 능가하며, 데이터셋과 모델 전반에 걸쳐 예측 성능을 향상시킵니다.

ABSTRACT

Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered about the model parameters, most commonly by optimising the BALD score. We highlight that this can be suboptimal from the perspective of predictive performance. For example, BALD lacks a notion of an input distribution and so is prone to prioritise data of limited relevance. To address this we propose the expected predictive information gain (EPIG), an acquisition function that measures information gain in the space of predictions rather than parameters. We find that using EPIG leads to stronger predictive performance compared with BALD across a range of datasets and models, and thus provides an appealing drop-in replacement.

연구 동기 및 목표

• 예측 성능이 매개변수 불확실성보다 중요한 능동 학습을 촉진한다.
• 예측 정보 이득의 기댓값을 최대화하는 획득 함수 EPIG를 도입한다.
• 풀 기반 능동 학습에서 BALD의 실용적 대체제로 EPIG를 제시한다.

제안 방법

• 베이지안 실험 설계로부터 예측에 대한 기대 정보 이득(매개변수에 대한)이 아닌 것으로부터 EPIG를 도출한다.
• 타깃 입력 분포 p*(x*)를 정의하고 p*(x*)의 샘플에 대해 예측 불확실성 감소의 기대값으로 EPIG를 도출한다.
• EPIG를 예측 결합 분포와 독립적 분포 간의 상호 정보 I((x*, y*); y | x) 및 예측 결합 분포와 곱 분포 간의 KL 발산으로 동등하게 표현한다.
• p*(x*)의 샘플과 모델 포스터리오 대리 모델을 사용하여 EPIG의 몬테카를로 추정치를 제공한다.
• p*(x*)를 알 수 없거나 풀 데이터만 이용 가능한 경우 x*의 실용적 샘플링 전략을 설명한다.
• 폐쇄 형태의 예측 분포가 없는 분류 설정에서 EPIG의 추정 스킴을 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 EPIG가 언더시드 입력에 대한 정확한 예측 목표일 때 BALD보다 예측 성능이 더 좋게 나오나?
• RQ2 EPIG는 합성 데이터, UCI 데이터셋, MNIST 유사 시각 설정에서 BALD와 비교해 어떻게 성능이 나오는가?
• RQ3 실무에서 타깃 입력 분포 p*(x*)를 어떻게 선택하거나 근사해야 하는가?
• RQ4 레이블링이 제약될 때 하류 타깃 분포에 대한 제한된 지식에 EPIG가 견고한가?

주요 결과

• EPIG가 여러 데이터셋과 모델에서 BALD에 비해 예측 성능 향상을 자주 보여준다.
• 타깃 분포에 비해 풀에 많은 무관한 입력이 포함될 때 EPIG가 특히 유리하다.
• 타깃 입력 분포에 대한 접근이 제한적이거나 전혀 없는 경우에도 EPIG가 경쟁력 있거나 우수한 성능을 유지하며 견고함을 보인다.
• BALD는 풀의 극단에서 모호한 입력을 비례적으로 선택하는 경향이 있는 반면, EPIG는 예측 관련성이 높은 영역에 집중한다.
• 합성 데이터, UCI 데이터셋, MNIST 변형에 대한 실험에서 EPIG의 BALD 대체로서의 장점이 입증된다.