[논문 리뷰] LIME: Weakly-Supervised Text Classification Without Seeds

Seongmin Park, Jihwa Lee|arXiv (Cornell University)|2022. 10. 13.

Topic Modeling인용 수 6

한 줄 요약

LIME는 시드워드 기반의 가짜 레이블링을 사용하지 않고, 사전 구축된 텍스트 유추 모델을 활용한 유추 기반 분류로 대체하는 새로운 약한 지도 학습 텍스트 분류 프레임워크를 제안한다. 유추를 활용해 가짜 레이블을 할당하고, 자기 학습을 적용함으로써 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 일부 데이터셋에서는 이전 방법보다 최대 10점의 F1 점수 향상을 기록한다.

ABSTRACT

In weakly-supervised text classification, only label names act as sources of supervision. Predominant approaches to weakly-supervised text classification utilize a two-phase framework, where test samples are first assigned pseudo-labels and are then used to train a neural text classifier. In most previous work, the pseudo-labeling step is dependent on obtaining seed words that best capture the relevance of each class label. We present LIME, a framework for weakly-supervised text classification that entirely replaces the brittle seed-word generation process with entailment-based pseudo-classification. We find that combining weakly-supervised classification and textual entailment mitigates shortcomings of both, resulting in a more streamlined and effective classification pipeline. With just an off-the-shelf textual entailment model, LIME outperforms recent baselines in weakly-supervised text classification and achieves state-of-the-art in 4 benchmarks. We open source our code at https://github.com/seongminp/LIME.

연구 동기 및 목표

• 약한 지도 학습 텍스트 분류에서 시드워드 기반의 가짜 레이블링의 취약성과 유연성 부족 문제를 해결하기 위해.
• 키워드 매칭 대비 더 강력하고 적응력 있는 가짜 레이블을 제공할 수 있는지, 유추 기반 분류의 잠재력을 탐색하기 위해.
• 저자원 환경에서 자기 학습 성능에 영향을 주는 가짜 레이블 신뢰도 임계값의 영향을 조사하기 위해.
• 유추 기반 레이블링과 자기 학습을 조합함으로써 분류 정확도와 강건성을 향상시킬 수 있는지 입증하기 위해.
• 작업에 특화된 시드워드 수거 없이도 기존의 약한 지도 학습 베이스라인을 능가하는 간결한, 시드워드 없는 파이프라인을 제공하기 위해.

제안 방법

• 기존의 시드워드 생성 방식을 대체하여 텍스트 유추 모델을 활용해 테스트 샘플에 가짜 레이블을 할당한다.
• 각 클래스 레이블을 가설(예: '이 텍스트는 <레이블>에 관한 것입니다.')로 표현하고, 테스트 문서와 각 가설 간의 유추 점수를 계산한다.
• 유추 점수가 가장 높은 가설을 해당 테스트 샘플의 가짜 레이블로 사용한다.
• 자기 학습을 통해 가짜 레이블이 부여된 데이터셋을 기반으로 별도의 신경망 텍스트 분류기 모델을 훈련한다.
• 낮은 신뢰도를 가진 가짜 레이블을 필터링하기 위해 신뢰도 임계값을 적용하여 데이터셋 크기와 레이블 품질의 균형을 맞춘다.
• 微조정 없이도 즉시 사용 가능한 사전 학습된 유추 모델(예: DeBERTa 기반)을 사용하여 플러그 앤 플레이 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 유추 기반 가짜 레이블링이 약한 지도 학습 텍스트 분류에서 시드워드 기반 방법보다 우월한가?
• RQ2 유추 기반 가짜 레이블의 신뢰도와 최종 분류 정확도 사이의 상관관계는 어떠한가?
• RQ3 낮은 신뢰도 가짜 레이블을 필터링함으로써 얻는 레이블 품질 향상과 자기 학습에 필요한 충분한 학습 데이터 확보 사이의 최적 균형은 무엇인가?
• RQ4 자기 학습이 다양한 도메인에서 순수 유추 기반 분류에서 관찰된 강건성 문제를 완화하는가?
• RQ5 시드워드가 없는, 유추 중심의 파이프라인이 약한 지도 학습 텍스트 분류에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• LIME는 네 가지 표준 벤치마크에서 최신 기술 수준 성능을 달성했다: 20News (79.74/79.56 마이크로/마크로-F1), AGNews (87.21/87.16), Yelp (95.22/95.22), DBpedia (92.19/92.20)로, 이전 SOTA 방법을 초월했다.
• 최종 자기 학습 분류기는 원본 유추 분류기 대비 약 10점의 F1 점수 향상을 기록하여, 오류 수정에 자기 학습이 효과적이라는 것을 입증했다.
• 가짜 레이블의 평균 신뢰도가 높을수록 유추 분류기와 자기 학습 모델 양쪽 모두에서 분류 정확도 향상과 강력한 상관관계를 보였다.
• 신뢰도 임계값을 50%에서 70% 사이로 설정할 경우 레이블 품질과 학습 데이터셋 크기 사이의 최적 균형을 확보할 수 있었으며, 성능은 70% 임계값에서 최고로 나타났다.
• 이 프레임워크는 도메인 이동에 강건하며, 이전 방법과 달리 작업에 특화된 시드워드 수집이 필요하지 않다.
• LIME의 성능은 특히 Yelp(95.22 F1)에서 감독 학습 기반 모델에 가까이 수렴하여 저자원 환경에서도 뛰어난 일반화 능력을 보였다.