[논문 리뷰] Cold-start Active Learning through Self-supervised Language Modeling

Michelle Yuan, Hsuan-Tien Lin외 1명|arXiv (Cornell University)|2020. 10. 19.

Machine Learning and Algorithms참고 문헌 55인용 수 6

한 줄 요약

이 논문은 BERT 기반 텍스트 분류를 위한 콜드스타트 주의적 학습 방법인 ALPS(Active Learning by Processing Surprisal)를 제안한다. 이 방법은 자기초기화된 언어 모델링(MLM) 손실을 불확실성의 대체 지표로 사용한다. 고퍼렉스피티(퍼플렉서티)가 높은 샘플—즉, 사전 훈련된 모델 하에서 낮은 가능성에 해당하는 샘플—을 선택함으로써 ALPS는 기준 방법보다 더 적은 레이블링 반복과 더 적은 계산량으로 더 높은 정확도를 달성하며, 저자원 환경에서 뛰어난 효율성과 효과성을 입증한다.

ABSTRACT

Active learning strives to reduce annotation costs by choosing the most critical examples to label. Typically, the active learning strategy is contingent on the classification model. For instance, uncertainty sampling depends on poorly calibrated model confidence scores. In the cold-start setting, active learning is impractical because of model instability and data scarcity. Fortunately, modern NLP provides an additional source of information: pre-trained language models. The pre-training loss can find examples that surprise the model and should be labeled for efficient fine-tuning. Therefore, we treat the language modeling loss as a proxy for classification uncertainty. With BERT, we develop a simple strategy based on the masked language modeling loss that minimizes labeling costs for text classification. Compared to other baselines, our approach reaches higher accuracy within less sampling iterations and computation time.

연구 동기 및 목표

• 모델이 校정되지 않았고 데이터가 부족한 저자원 환경에서 주의적 학습의 과제를 해결하기 위해.
• 분류 신뢰도 점수나 미세조정된 모델에 의존하지 않는 콜드스타트 주의적 학습 전략을 개발하기 위해.
• 사전 훈련된 언어 모델의 자기초기화 목표를 데이터 선택의 불확실성 대체 지표로 활용하기 위해.
• 최소한의 레이블링 노력으로 알고리즘적 효율성과 모델 정확도를 향상시키기 위해.
• 재학습이 필요 없이도 배치 쿼리가 가능한 탄력적인 샘플링 전략을 제공하기 위해.

제안 방법

• ALPS는 사전 훈련된 BERT 인코더에서 얻은 마스킹된 언어 모델링(MLM) 손실을 분류 불확실성의 대체 지표로 사용한다.
• 이 방법은 MLM 퍼플렉서티가 가장 높은 미레이블링된 샘플을 선택하며, 이는 더 높은 놀라움과 따라서 미세조정에 더 유용한 정보를 가진다고 가정한다.
• 이 방법은 콜드스타트 설정에서 작동하며, 초기 미세조정이나 신뢰도 점수 없이도 사전 훈련된 모델의 자기초기화에 의존한다.
• ALPS는 반복적 및 단일 배치 샘플링 전략을 모두 지원하여 다양한 레이블링 예산 하에서도 탄력적인 구현이 가능하다.
• 알고리즘은 표준 주의적 학습 루프에 따라 적용되며, 높은 놀라움을 가진 샘플을 쿼리하고, 이를 레이블링한 후 분류기를 미세조정한다.
• 이 방법은 네 개의 텍스트 분류 데이터셋에서 평가되었으며, 다양한 주의적 학습 기준 방법과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 자기초기화된 언어 모델링 손실이 콜드스타트 주의적 학습에서 불확실성의 대체 지표로 효과적으로 기능할 수 있는가?
• RQ2 ALPS는 정확도와 레이블링 효율성 측면에서 전통적인 주의적 학습 방법과 비교해 어떻게 성과를 내는가?
• RQ3 분류기를 재학습하지 않고도 대량의 배치 샘플을 한 번에 추출할 경우 ALPS의 성능 유지가 가능한가?
• RQ4 사전 훈련된 모델의 퍼플렉서티를 사용하면 저자원 텍스트 분류 환경에서 데이터 선택 성능이 향상되는가?
• RQ5 기준 방법과 비교해 ALPS는 레이블링 반복 횟수와 계산 비용을 얼마나 줄이는가?

주요 결과

• ALPS는 PubMed와 IMDB를 포함한 네 개의 텍스트 분류 데이터셋에서 기준 주의적 학습 방법보다 더 높은 테스트 정확도를 달성한다.
• 정점 성능에 도달하기 위해 더 적은 레이블링 반복을 요구함으로써 뛰어난 샘플 효율성을 입증한다.
• 모델 재학습을 반복적으로 수행하지 않기 때문에 계산 시간을 줄였으며, 사전 훈련된 인코더에만 의존하기 때문이다.
• 반복적 샘플링 또는 단일 배치 샘플링 여부에 관계없이 일관된 성능을 유지함으로써 배포 유연성을 입증한다.
• 1,000개 문장의 샘플링에 ALPS는 PubMed에서 약 97분, IMDB에서는 약 7분이 소요되며, 이는 높은 확장성(스케일러빌리티)을 시사한다.
• MLM 퍼플렉서티를 선택 기준으로 사용함으로써, 특히 콜드스타트 환경에서 모델 신뢰도 기반 불확실성 샘플링보다 성능이 뛰어나다.