[논문 리뷰] Bayesian Active Learning for Classification and Preference Learning

Neil Houlsby, Ferenc Huszár외 2명|arXiv (Cornell University)|2011. 12. 24.

Machine Learning and Algorithms참고 문헌 20인용 수 491

한 줄 요약

이 논문은 정보 이론적 접근을 활용한 새로운 베이지안 주도 학습 방법인 불확실성 기반 주도 학습(BALD)을 제안한다. 이 방법은 가우시안 프로세스 분류기(GPC)에 대해 전체 정보 이득 기준에 대한 근사치를 최소화하는 데 목적이 있으며, 정보 이득을 예측 엔트로피의 차이로 재구성함으로써 결정 이론 기반 방법보다 낮은 계산 비용으로 최신 성능을 달성한다. 또한 커널 재매개변수화를 통해 선호도 학습으로 자연스럽게 확장 가능하다.

ABSTRACT

Information theoretic active learning has been widely studied for probabilistic models. For simple regression an optimal myopic policy is easily tractable. However, for other tasks and with more complex models, such as classification with nonparametric models, the optimal solution is harder to compute. Current approaches make approximations to achieve tractability. We propose an approach that expresses information gain in terms of predictive entropies, and apply this method to the Gaussian Process Classifier (GPC). Our approach makes minimal approximations to the full information theoretic objective. Our experimental performance compares favourably to many popular active learning algorithms, and has equal or lower computational complexity. We compare well to decision theoretic approaches also, which are privy to more information and require much more computational time. Secondly, by developing further a reformulation of binary preference learning to a classification problem, we extend our algorithm to Gaussian Process preference learning.

연구 동기 및 목표

• 가우시안 프로세스 분류기(GPC)를 위한 주도 학습 알고리즘을 개발하여 전체 정보 이론적 목표에 대한 근사치를 최소화한다.
• 비모수 모델인 GPC와 같은 모델에서 고차원적이고 계산이 불가능한 사후 엔트로피 문제를 해결한다.
• 이진 선호도 작업을 분류 문제로 재구성함으로써 주도 학습을 선호도 학습으로 확장한다.
• 결정 이론 기반 방법과 유사한 성능을 달성하면서도 훨씬 적은 계산 시간을 요구한다.
• 기존 GP 및 SVM 기반 주도 학습에서 오랫동안 해결되지 않은 과제였던 커널 하이퍼파rameter의 주도 학습을 가능하게 한다.

제안 방법

• 모델 매개변수의 사후 엔트로피를 직접 계산하지 않고, 사전과 사후 예측 엔트로피의 차이로 정보 이득을 재구성한다.
• 출력에 대한 예측 엔트로피를 사용하여 정보 이득을 추정함으로써, 사후 엔트로피가 계산이 불가능한 GPC에서도 계산 가능하게 한다.
• 모델 매개변수에 대한 기대 정보 이득을 최대화하는 쿼리 선택을 위해 BALD 기준을 적용한다.
• 쌍별 비교를 분류 프레임워크로 매핑하는 커널을 구성함으로써 주도 학습을 선호도 학습으로 확장한다.
• 근사 추론 방법(Laplace, EP, ADF 등)을 사용하되, 핵심 할당 함수는 변경하지 않아 계산적 트레이드오프의灵活性를 확보한다.
• 추론 방법에 대해 중립적인 태도를 유지하여 스퍼스, 온라인, 또는 변분 추론 기반 방법과의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비모수 모델인 GPC와 같은 모델에서 정보 이득을 강력한 근사 없이 효율적으로 계산할 수 있는가?
• RQ2 BALD는 결정 이론 기반 및 히우리스틱 주도 학습 방법과 비교해 분류 과제에서 성능과 효율성 면에서 어떻게 다른가?
• RQ3 정보 이득을 분류 문제로 재구성함으로써 BALD 프레임워크를 선호도 학습으로 확장할 수 있는가?
• RQ4 하이퍼파rameter가 고정되어 있을 때, BALD는 IVM 및 QBC와 비교해 노이즈가 있는 데이터와 실제 세계 데이터에서 뛰어난 성능을 보이는가?
• RQ5 BALD는 커널 하이퍼파rameter의 주도 학습을 자연스럽게 지원할 수 있는가? 이는 기존 GP 및 SVM 기반 주도 학습 접근법의 핵심 한계를 극복하는 데 기여하는가?

주요 결과

• BALD는 모든 다른 방법보다 더 적은 데이터 포인트로 동일한 분류 정확도에 도달하는 데 성공하여 전체 데이터셋에서 최고의 성능을 보였다.
• BALD는 결정 이론 기반 방법(Zhu et al., 2003 등)과 유사한 성능을 달성하지만, 테스트 데이터 위치에 대한 접근 없이도 훨씬 낮은 계산 비용을 요구한다.
• MES는 노이즈가 있는 데이터에서 성능이 열악한 편이지만, BALD는 노이즈가 있는 데이터와 없는 데이터 모두에서 강력한 성능을 유지한다.
• IVM는 노이즈가 있는 데이터에서 병적으로 작동하며, 한 쪽 클래스에 대한 편향된 선택으로 인해 후보 매개변수의 사후 근사 및 ADF 업데이트의 한계를 드러낸다.
• QBC는 노이즈가 있는 데이터에서 성능이 일관되지 않으며, 엔세임 불일치에 의존하지만 내재된 불확실성 모델링이 없기 때문이다.
• 하이퍼파rameter가 고정되어 있을 때도 BALD의 성능은 강인하지만, 초기 단계에서 과적합으로 인해 초기 쿼리가 최적화되지 않을 수 있다. 이는 단순한 히우리스틱으로 완화 가능하다.