[논문 리뷰] Test Distribution-Aware Active Learning: A Principled Approach Against Distribution Shift and Outliers

Andreas Kirsch, Tom Rainforth외 1명|arXiv (Cornell University)|2021. 06. 22.

Machine Learning and Algorithms참고 문헌 32인용 수 7

한 줄 요약

이 논문은 예측 정보량의 기대값(예측 정보량 기대값, EPIG)과 그 배치 호환 버전인 공동 예측 정보량 기대값(JEPIG)을 기반으로 한 수익 함수 재정의를 통해 분포 이탈과 이상치를 다루는 테스트 분포 인지 활성 학습(TDAAL)을 제안한다. 기존의 BALD와 달리, TDAAL은 모델 파ameter의 불확실성 대신 테스트 분포 하에서의 예측 불확실성에 직접적으로 초점을 맞추므로, 분포 이탈 상황에서도 더 견고하고 효율적인 레이블링이 가능하며, JEPIG는 표준 및 외부 분포(OoD) 설정 모두에서 BALD를 능가한다.

ABSTRACT

Expanding on MacKay (1992), we argue that conventional model-based methods for active learning - like BALD - have a fundamental shortfall: they fail to directly account for the test-time distribution of the input variables. This can lead to pathologies in the acquisition strategy, as what is maximally informative for model parameters may not be maximally informative for prediction: for example, when the data in the pool set is more dispersed than that of the final prediction task, or when the distribution of pool and test samples differs. To correct this, we revisit an acquisition strategy that is based on maximizing the expected information gained about possible future predictions, referring to this as the Expected Predictive Information Gain (EPIG). As EPIG does not scale well for batch acquisition, we further examine an alternative strategy, a hybrid between BALD and EPIG, which we call the Joint Expected Predictive Information Gain (JEPIG). We consider using both for active learning with Bayesian neural networks on a variety of datasets, examining the behavior under distribution shift in the pool set.

연구 동기 및 목표

• 기존의 활성 학습 방법, 예를 들어 BALD가 모델 파ameter의 불확실성에 최적화되어 있을 뿐 아니라 목표 테스트 분포에서의 예측 성능에 초점을 맞추지 않는 한계를 해결하기 위해.
• 분포 이탈 또는 이상치가 존재할 경우, 예측 정보량 기대값(EPIG)에 기반한 정보 이론적 수익 함수가 파ameter 중심의 방법보다 더 효과적인지 조사하기 위해.
• 딥 부가베이지안 신경망에 적합한 배치 호환 버전인 공동 예측 정보량 기대값(JEPIG)을 개발하기 위해.
• 표준 활성 학습과 분포 이탈 상황, 특히 외부 분포(OoD) 데이터 존재 시 EPIG와 JEPIG의 성능을 평가하기 위해.
• 테스트 분포 하에서의 예측 불확실성에 초점을 맞추는 것이 일반화 성능 향상과 관련 없거나 이상치 샘플의 수확을 줄이는 데 기여함을 입증하기 위해.

제안 방법

• 예측 불확실성의 기대값을 기반으로 한 활성 학습 수익 함수를 재정의하여, 테스트 입력에서의 미래 예측 불확실성 감소 기대치를 측정하는 예측 정보량 기대값(EPIG)을 사용한다.
• EPIG를 테스트 입력 분포에 대해 평균화한 예측 분포 $p(y\mid x, \mathcal{D}^{\text{train}})$에 대한 정보량 기대값으로 유도한다.
• 배치 호환 버전인 공동 예측 정보량 기대값(JEPIG)을 제안하여, 일괄적인 테스트 입력 집합에서의 예측 불확실성을 동시에 최적화함으로써 효율적인 배치 수확을 가능하게 한다.
• EPIG와 JEPIG 점수를 계산하기 위해 베이지안 신경망에서 효율적인 사후 근사에 몬테카를로 드롭아웃과 국소 재정의 기법을 사용한다.
• 수확 과정에서 테스트 분포를 대표하기 위해 별도의 미레이블된 평가 세트를 사용하여, 수익 함수가 실제 예측 목표를 반영하도록 보장한다.
• 실세계 데이터에서의 분포 이탈에 대한 강건성을 평가하기 위해 OoD 거부 및 OoD 노출 전략을 통합한다.

실험 결과

연구 질문

• RQ1 테스트 분포 하에서의 예측 불확실성에 최적화하는 것이, 특히 분포 이탈 상황에서 모델 파ameter 불확실성에 최적화하는 것보다 더 나은 활성 학습 성능을 이끌어내는가?
• RQ2 풀 세트와 테스트 세트의 분포가 다를 경우, EPIG는 BALD에 비해 예측 정확도와 OoD 샘플 수확 측면에서 어떻게 비교되는가?
• RQ3 EPIG의 배치 호환 버전인 JEPIG는 딥 러닝 환경에서 효율적인 수확을 가능하게 하면서도 성능을 유지할 수 있는가?
• RQ4 JEPIG가 EPIG를 능가하는 성능 향상은 더 나은 추상화 학습 때문인가, 아니면 평가 세트 분포를 더 잘 다루기 때문인가?
• RQ5 더 크고 대표성이 높은 평가 세트를 사용할 경우, 분포 이탈 상황에서 수확 전략의 강건성이 얼마나 향상되는가?

주요 결과

• MNIST와 MNISTx2에서 표준 활성 학습 상황에서 JEPIG는 BALD를 능가하며, 여러 시행에 걸쳐 일관된 예측 정확도 향상을 보였다.
• CIFAR-10에서는 JEPIG가 SoftmaxBALD를 능가하여, 더 깊은 모델과 더 복잡한 데이터셋에서도 효과적임을 입증했다.
• 분포 이탈 상황에서 JEPIG는 BALD에 비해 외부 분포(OoD) 샘플의 수확을 크게 줄였으며, 정확도는 유지하거나 향상시켰다 (예: MNIST 테스트 세트에서 FashionMNIST 사용).
• MNIST와 FashionMNIST 실험에서 JEPIG는 OoD 거부 및 OoD 노출 모드 모두에서 더 적은 OoD 샘플을 선택하여 더 뛰어난 강건성을 보였다.
• CIFAR-10과 SVHN에서, 분포 이탈 상황에서 JEPIG는 분포 이탈 상황에서의 모든 조합을 제외한 한에서 BALD를 능가했으며, 수확한 OoD 샘플 수가 더 적었다.
• 절단 실험 결과, 더 큰 평가 세트가 더 나은 성능을 이끌어내어, 수확 전략의 강건성에 있어 대표성 있는 테스트 분포의 중요성을 확인했다.