[논문 리뷰] Diversity Enhanced Active Learning with Strictly Proper Scoring Rules

Wei Tan, Lan Du외 1명|arXiv (Cornell University)|2021. 10. 27.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 텍스트 분류에서 불확실성 추정을 향상시키기 위해 엄격한 적절한 점수 규칙(예: 로그 확률, 평균 제곱 오차)을 사용하는 새로운 활성 학습 프레임워크인 베이지안 평균 적절 점수 추정(BEMPS)을 제안한다. 기존의 오차 기반 할당 함수 대신 점수 기반 할당 함수를 사용함으로써 BEMPS는 보다 校정된 불확실성 추정을 달성하고, 여러 데이터셋에서 WMOCU, BADGE, BALD를 일관되게 능가한다. 특히 다양성 인식 배치 선택 전략과 동적 검증 세트 앙상블을 결합할 경우 성능 향상이 두드러진다.

ABSTRACT

We study acquisition functions for active learning (AL) for text classification. The Expected Loss Reduction (ELR) method focuses on a Bayesian estimate of the reduction in classification error, recently updated with Mean Objective Cost of Uncertainty (MOCU). We convert the ELR framework to estimate the increase in (strictly proper) scores like log probability or negative mean square error, which we call Bayesian Estimate of Mean Proper Scores (BEMPS). We also prove convergence results borrowing techniques used with MOCU. In order to allow better experimentation with the new acquisition functions, we develop a complementary batch AL algorithm, which encourages diversity in the vector of expected changes in scores for unlabelled data. To allow high performance text classifiers, we combine ensembling and dynamic validation set construction on pretrained language models. Extensive experimental evaluation then explores how these different acquisition functions perform. The results show that the use of mean square error and log probability with BEMPS yields robust acquisition functions, which consistently outperform the others tested.

연구 동기 및 목표

• 기존의 오차 기반 할당 함수의 한계를 해결하기 위해 분류 오차를 엄격한 적절한 점수 규칙으로 대체함으로써 활성 학습의 성능을 향상시키는 것.
• 로그 확률 및 평균 제곱 오차와 같은 적절한 점수의 기대 증가를 추정하는 이론적으로 탄탄한 베이지안 프레임워크(BEMPS)를 개발하는 것.
• 벡터 기반 기대 점수 변화 표현과 클러스터링을 통한 다양성 통합을 통해 배치 기반 활성 학습을 향상시키는 것.
• 피인간 트랜스포머 모델에 대해 미세조정된 모델을 대상으로 동적 검증 세트 구성과 앙상블 학습을 통해 모델 성능을 향상시키는 것.
• 의료 분야 등 실질적인 제약 조건이 존재하는 분야에서 실제로 적용 가능한 제약 조건에 맞는 실제적인 레이블링 예산 하에서 제안된 방법을 평가하는 것.

제안 방법

• 분류 오차 대신 엄격한 적절한 점수 규칙(예: 로그 확률, 평균 제곱 오차)의 기대 증가 기반으로 할당 함수를 수립하는 것.
• 베이지안 추정을 사용하여 미표기된 샘플의 적절한 점수 향상 기대치를 계산하고, 이는 BEMPS 할당 함수의 核심이 된다.
• 기대 점수 변화의 벡터 기반 표현을 바탕으로 클러스터링을 수행함으로써 다양성을 확보하는 배치 활성 학습 전략을 도입하는 것(식 6).
• 기대 점수 변화의 DistilBERT 임베딩에 k-means 클러스터링을 적용하여 다양하고 높은 불확실성의 샘플을 선택하는 것.
• 각 활성 학습 반복 후 검증 데이터를 재표본 추출함으로써 일반화 성능을 향상시키는 동적 검증 세트 전략을 구현하는 것.
• 동적 검증 세트와 모델 앙상블을 결합하여, 큰 고정된 검증 세트가 필요 없이도 불확실성 추정과 모델 校정도 향상시키는 것.

실험 결과

연구 질문

• RQ1 로그 확률 및 평균 제곱 오차와 같은 엄격한 적절한 점수 규칙이 활성 학습 할당 함수에서 분류 오차보다 더 견고하고 보다 잘 校정된 대안이 될 수 있는가?
• RQ2 기대 적절 점수 향상 기반의 BEMPS 프레임워크가 텍스트 분류에서 BALD 및 WMOCU와 같은 기존의 불확실성 기반 할당 함수와 비교해 어떻게 성능을 냈는가?
• RQ3 기대 점수 변화의 클러스터링을 통한 배치 선택 시 다양성 통합이 활성 학습 성능에 얼마나 기여하는가?
• RQ4 동적 검증 세트 구성 전략이 딥 네URAL 네트워크 기반 활성 학습에서 모델 성능 향상과 불확실성 추정에 어떻게 기여하는가?
• RQ5 BEMPS, 다양성 인식 배치 선택, 동적 검증 세트 앙성의 조합이 실제 레이블링 예산 제약 조건 하에서 최신 기술 수준의 베이스라인을 일관되게 능가할 수 있는가?

주요 결과

• BEMPS에서 평균 제곱 오차와 로그 확률을 점수 규칙으로 사용함으로써 도출된 할당 함수(CoreMSE 및 CoreLog)는 네 개의 텍스트 분류 데이터셋에서 WMOCU, BADGE, BALD를 일관되게 능가한다.
• 기대 점수 변화의 클러스터링을 통한 다양성 증진 전략을 적용한 배치 BEMPS 전략은 비다양성 변형(CoreMSE_top, CoreLog_top)보다 유의미하게 뛰어난 성능을 보이며, 배치 선택 시 다양성의 중요성을 입증한다.
• 고정 길이 또는 검증 세트 없음 베이스라인 대비 동적 검증 세트 구성 전략이 PubMed 및 SST-5에서 세 번째 할당 반복 이후 성능 향상이 두드러지게 나타난다.
• BEMPS와 동적 검증 세트, 앙상블의 조합은 작은 레이블링 예산 조건에서도 모델의 校정도 및 일반화 능력을 향상시킨다.
• 반드시 준지도 학습 기반 방법에 의존하지 않으며, 순수 지도 학습 기반 활성 학습 베이스라인과의 공정한 비교가 가능하다.
• CoreMSE 및 CoreLog는 다양한 데이터셋과 모델 아키텍처에서 뛰어난 안정성을 보이며, 전문가 레이블링 제약 조건이 존재하는 실제 텍스트 분류 분야에 넓은 적용 가능성을 보여준다.