[논문 리뷰] Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations

Kevin Miller, Hao Li외 1명|arXiv (Cornell University)|2020. 07. 21.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 비정규 분포 베이지안 모델을 위한 그래프 기반 순차적 학습에서 효율적인 활성 학습 프레임워크를 제안한다. 비정규 분포의 사후분포를 정규 분포로 근사함으로써 계산 비용이 낮은 할당 함수인 룩어헤드 및 모델 변화를 사용할 수 있도록 한다. 이 방법은 정확한 재학습과 비교해도 계산 비용을 크게 줄였으며, 특히 합성 및 실세계 데이터셋에서 Probit 및 정규 모델에서 경쟁적인 성능을 달성한다.

ABSTRACT

We present a novel adaptation of active learning to graph-based semi-supervised learning (SSL) under non-Gaussian Bayesian models. We present an approximation of non-Gaussian distributions to adapt previously Gaussian-based acquisition functions to these more general cases. We develop an efficient rank-one update for applying "look-ahead" based methods as well as model retraining. We also introduce a novel "model change" acquisition function based on these approximations that further expands the available collection of active learning acquisition functions for such methods.

연구 동기 및 목표

• 그래프 기반 순차적 학습에서 비정규 베이지안 모델에 대한 효율적인 활성 학습 방법이 부족한 문제를 해결한다.
• 이전에는 정규 모델에만 적용 가능했던 정규 기반 할당 함수를 더 현실적인 비정규 모델(예: Probit 모델)에 적용할 수 있도록 한다.
• 모델 재학습과 룩어헤드 쿼리를 전면 재계산 없이도 효율적으로 근사할 수 있는 계산 비용이 낮은 랭크-원 업데이트 방법을 개발한다.
• 비정규 설정에서의 쿼리 선택을 향상시키기 위해 정규 근사를 기반으로 한 새로운 '모델 변화' 할당 함수를 제안한다.
• 이러한 근사가 정확한 재학습 대비 상당한 속도 향상을 이끌어내며, 합성 및 실세계 데이터셋 모두에서 경쟁적인 정확도를 달성함을 입증한다.

제안 방법

• 비정규 사후분포(예: Probit 모델)를 정규 근사로 변환하기 위해 라플라스 및 뉴턴 근사를 사용하여 효율적인 계산을 가능하게 한다.
• 새로운 점을 쿼리한 후 사후 평균 및 공분산 변화를 전면 재학습 없이 랭크-원 업데이트를 통해 효율적으로 계산한다.
• 근사된 사후분포를 사용해 '룩어헤드' 및 '모델 변화'와 같은 할당 함수를 정식화한다.
• 근사된 사후분포의 음의 로그우도를 사용해 모델 변화 할당 함수를 정의하며, 이는 모델 적합도 향상의 기대치를 측정한다.
• 정확도와 계산 비용의 균형을 맞추기 위해 몬테카를로(MC) 샘플링을 사용해 기대 위험 및 모델 변화를 추정한다.
• 테스트 데이터에서 NA 업데이트된 사후분포를 정확한 재학습 결과와 비교함으로써 근사 품질을 검증한다.

실험 결과

연구 질문

• RQ1 그래프 기반 순차적 학습에서 비정규 베이지안 모델이 이전에 정규 모델 전용이었던 효율적인 활성 학습 할당 함수를 지원할 수 있는가?
• RQ2 Probit 모델과 같은 비정규 모델에서 정규 근사가 활성 학습을 위해 진짜 사후분포를 얼마나 정확히 표현할 수 있는가?
• RQ3 랭크-원 업데이트 전략이 전면 모델 재학습에 비해 계산 비용이 낮은 대안을 제공할 수 있는가?
• RQ4 제안된 '모델 변화' 할당 함수가 비정규 설정에서 기존의 불확실성 기반 및 마진 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 제안된 근사 방법이 합성 및 실세계 데이터셋에서 정확도와 속도 측면에서 정확한 재학습과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 정규 근사 방법은 Probit 모델과 같은 비정규 모델에서 룩어헤드 및 모델 변화 할당 함수의 효율적 계산을 가능하게 한다.
• Figure 3에서 보듯이, NA(새로운 근사) 업데이트를 통해 사후 평균 및 공분산가 정확한 재학습 결과와 매우 유사하게 유도되며, 이는 근사 품질을 검증한다.
• Checkerboard 데이터셋에서 MC 기반 할당 함수는 Probit 및 GR 모델에서 가장 높은 정확도를 달성했으며, MBR 및 VOpt 방법을 능가했다.
• MNIST 데이터셋에서는 MBR 방법이 가장 높은 정확도를 기록했지만 계산 비용이 높았고, MC 기반 방법은 상당히 낮은 비용으로 뛰어난 성능을 보였다.
• 모델 변화 할당 함수는 경쟁적인 성능을 보이며 비정규 설정에서 활성 학습을 위한 새로운 효과적인 옵션을 제공했다.
• 랭크-원 업데이트 전략은 빠른 추론과 쿼리 선택을 가능하게 하여, 전면 재학습 없이도 더 큰 데이터셋에 대한 활성 학습의 확장성을 확보했다.