[논문 리뷰] Zero-Shot Text Classification with Self-Training

Ariel Gera, Alon Halfon외 4명|arXiv (Cornell University)|2022. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터나 도메인 전문 지식을 필요로 하지 않고, 클래스 이름과 레이블이 없는 데이터셋만을 사용하여 제로샷 텍스트 분류 성능을 향상시키기 위해 플러그 앤 플레이(self-training) 방법을 제안한다. 사전 훈련된 자연어 추론 모델을 자신의 고신뢰도 예측에 대해 피나이팅(fine-tuning)함으로써, 다양한 텍스트 분류 작업에서 뚜렷한 성능 향상을 달성한다. 이는 자가훈련(self-training)이 일반적인 제로샷 모델을 특정 하류 작업에 효과적으로 적응시키는 데 성공했음을 보여준다.

ABSTRACT

Recent advances in large pretrained language models have increased attention to zero-shot text classification. In particular, models finetuned on natural language inference datasets have been widely adopted as zero-shot classifiers due to their promising results and off-the-shelf availability. However, the fact that such models are unfamiliar with the target task can lead to instability and performance issues. We propose a plug-and-play method to bridge this gap using a simple self-training approach, requiring only the class names along with an unlabeled dataset, and without the need for domain expertise or trial and error. We show that fine-tuning the zero-shot classifier on its most confident predictions leads to significant performance gains across a wide range of text classification tasks, presumably since self-training adapts the zero-shot model to the task at hand.

연구 동기 및 목표

• 일반적인 제로샷 텍스트 분류기의 성능 한계를 해결하기 위해, 특히 작업에 특화된 적응이 부족해 인과적으로 보다 성능이 열 劣한 감독 학습 모델과 비교할 때 성능이 열 劣한 점을 해결하고자 한다.
• 자기훈련이 레이블이 없는 데이터와 클래스 이름만을 사용하여 상용 제로샷 모델을 하류 작업에 효과적으로 적응시킬 수 있는지 탐색하고자 한다.
• 최소한의 노력과 레이블이 없는 데이터가 필요로 하는 실용적인 플러그 앤 플레이 방법을 제공하여, 실무자들이 최소한의 간섭으로 모델 성능을 향상시킬 수 있도록 하고자 한다.
• 자기훈련이 다양한 텍스트 분류 벤치마크에서 추론 기반 제로샷 분류기의 적응 능력을 평가하고자 한다.
• 자기훈련이 사전 훈련된 모델과 하류 작업 간의 분포 격차를 메우기 위해 모델을 작업에 특화된 특성에 적응시키는 데 효과적인지 조사하고자 한다.

제안 방법

• 입력 텍스트 각각에 클래스 이름을 포함한 가설 템플릿('이 텍스트는 [클래스]에 관한 것입니다')을 프롬프팅하여 사전 훈련된 자연어 추론(NLI) 모델을 제로샷 분류기로 사용한다. 이를 통해 함의성 점수를 산출한다.
• 모델은 레이블이 없는 데이터셋에 대해 예측을 수행하고, 상위-1점수와 제2위 점수 간의 차이(신뢰도)가 가장 높은 상위-k 예제를 선택한다.
• 이 고신뢰도 예측 결과는 가짜 레이블로 간주되어 원래의 제로샷 모델을 자기훈련 루프에서 재학습시킨다.
• 이 과정은 반복적이다: 모델은 자신의 가짜 레이블 예측 결과를 기반으로 재학습되며, 점차 목표 작업의 분포와 언어 패턴에 적응한다.
• 신뢰도 기반의 예제 선택은 불확실한 예측에서 유래하는 노이즈를 줄이기 위해 신뢰도가 가장 높은 예측들만을 사용한다.
• 이 방법은 플러그 앤 플레이 방식으로, 클래스 이름과 레이블이 없는 데이터셋 외에 추가적인 하이퍼파라미터 튜닝이나 도메인 전문 지식이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 목표 작업에 대한 레이블이 없는 데이터가 필요 없이 자기훈련이 상용 제로샷 텍스트 분류기의 성능을 뚜렷하게 향상시킬 수 있는가?
• RQ2 자기훈련이 일반적인 제로샷 모델을 특정 하류 작업의 언어적 특성과 분포적 특성에 효과적으로 적응시킬 수 있는가?
• RQ3 자기훈련을 통해 제로샷 설정에서 의미 있는 성능 향상을 달성하기 위해 얼마나 많은 레이블이 없는 데이터가 필요한가?
• RQ4 자기훈련은 레이블이 없는 데이터가 관련된 다른 도메인이나 작업에서부터 올 경우에도 성능 향상을 이끌 수 있는가?
• RQ5 확장성과 실용적 사용성 측면에서 자기훈련은 다른 제로샷 적응 기법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 자기훈련은 AG News, 20 Newsgroups, DBPedia와 같은 표준 벤치마크에서 관찰되는 다양한 텍스트 분류 작업 전반에서 뚜렷한 성능 향상을 이끌어낸다.
• 단 10,000개의 레이블이 없는 예제가 있더라도 일관된 성능 향상이 이루어지며, 이는 효율성과 실용성의 증거이다.
• 성능 향상은 자기훈련이 사전 훈련된 모델의 일반 지식과 작업에 특화된 패턴 간 격차를 줄이는 데 기여하기 때문으로 보인다.
• 교차 작업 자기훈련(유사 도메인의 레이블이 없는 데이터를 사용) 역시 성능 향상을 가져오며, 이는 유사 작업 간에 잘 일반화됨을 시사한다.
• 이 방법은 클래스 분포나 텍스트 길이가 다양한 데이터셋에서도 강건하고 효과적이며, 작업에 특화된 하이퍼파라미터 튜닝이 필요로 하지 않는다.
• 저자들은 코드와 평가 도구를 공개하여 재현 가능성과 제로샷 분류를 위한 자기훈련 연구를 위한 기초를 마련했다.