[논문 리뷰] Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations

Yu Fei, Zhao Meng외 3명|arXiv (Cornell University)|2022. 01. 01.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 클래스 이름으로 초기화된 베이지안 가우시안 혼합 모델을 사용하여 비라벨 텍스트 임베딩을 군집화하는 간단한 클러스터링 기반 방법인 SimPTC를 제안한다. 간단한 방법임에도 불구하고 SimPTC는 피플링 기반 방법보다 14개의 다양한 데이터셋에서 평균 매크로-F1 기준 20%의 절대적 향상을 이룩하며 최신 기술 수준을 달성한다. 미세조정이나 인간이 설계한 프롬프트 없이도 성능을 내며, 이는 기존의 복잡한 프롬프팅 또는 자체학습 파ip라인에 비해 경량이고 효율적인 대안이 될 수 있다.

ABSTRACT

Recent work has demonstrated that pre-trained language models (PLMs) are zero-shot learners. However, most existing zero-shot methods involve heavy human engineering or complicated self-training pipelines, hindering their application to new situations. In this work, we show that zero-shot text classification can be improved simply by clustering texts in the embedding spaces of PLMs. Specifically, we fit the unlabeled texts with a Bayesian Gaussian Mixture Model after initializing cluster positions and shapes using class names. Despite its simplicity, this approach achieves superior or comparable performance on both topic and sentiment classification datasets and outperforms prior works significantly on unbalanced datasets. We further explore the applicability of our clustering approach by evaluating it on 14 datasets with more diverse topics, text lengths, and numbers of classes. Our approach achieves an average of 20% absolute improvement over prompt-based zero-shot learning. Finally, we compare different PLM embedding spaces and find that texts are well-clustered by topics even if the PLM is not explicitly pre-trained to generate meaningful sentence embeddings. This work indicates that PLM embeddings can categorize texts without task-specific fine-tuning, thus providing a new way to analyze and utilize their knowledge and zero-shot learning ability.

연구 동기 및 목표

• 태스크에 특화된 미세조정이나 프롬프트 엔지니어링 없이 제로샷 텍스트 분류를 향상시키기 위해.
• PLM 임베딩 공간에서의 군집화가 사전 훈련된 모델 지식을 더 잘 활용할 수 있는지 탐색하기 위해.
• 다양한 주제, 텍스트 길이, 클래스 수를 가진 다양한 데이터셋에서 방법을 평가하기 위해.
• 문장 임베딩을 위해 특별히 훈련되지 않은 임베딩 공간을 포함하여, 다양한 PLM 임베딩 공간의 군집 성질을 분석하기 위해.
• 복잡한 프롬프팅 또는 자체학습 파이프라인에 비해 경량이고 효율적인 대안을 제공하기 위해.

제안 방법

• 텍스트와 클래스 이름의 기본 표현으로 SimCSE 문장 임베딩을 사용한다.
• 클래스 이름을 사용하여 앵커 문장을 생성하고, 그들의 임베딩을 계산함으로써 군집 중심을 초기화한다.
• 비모수적 베이지안 가우시안 혼합 모델(BGMM)을 적용하여 비라벨 텍스트 임베딩에 클래스별 가우시안 분포를 적합시킨다.
• 텍스트 임베딩과 클래스 앵커 임베딩 간의 코사인 유사도를 기반으로 초기 군집 할당을 수행한다.
• PLM을 업데이트하지 않고도 기대값 최대화(EM) 알고리즘을 통해 군집 파라미터를 최적화한다.
• 모든 클래스에 공통된 공분산 행렬을 사용하여 정규화를 하고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 PLM 임베딩 공간에서의 군집화가 프롬프팅이나 미세조정 없이 제로샷 텍스트 분류를 향상시킬 수 있는가?
• RQ2 다양한 클래스 수와 텍스트 길이를 가진 다양한 데이터셋에서 SimPTC는 프롬프팅 기반 방법보다 어떻게 성능을 내는가?
• RQ3 문장 임베딩을 위해 사전 훈련되지 않은 PLM 임베딩도 주제별로 자연스럽게 군집되는가?
• RQ4 다양한 PLM 아키텍처와 크기가 군집 품질과 제로샷 성능에 어떤 영향을 미치는가?
• RQ5 특히 추상적 또는 드문 클래스 이름을 다룰 때 군집 기반 제로샷 학습의 한계는 무엇인가?

주요 결과

• SimPTC는 14개의 다양한 데이터셋에서 프롬프팅 기반 제로샷 학습 대비 매크로-F1 점수에서 평균 20%의 절대적 향상을 달성한다.
• 불균형 데이터셋에서는 SimPTC가 이전 방법들보다 뚜렷이 뛰어나며, 클래스 불균형에 대한 강건성을 입증한다.
• 문장 임베딩을 위해 사전 훈련되지 않은 RoBERTa-large 모델조차도 임베딩 공간에서 잘 분리된 주제 군집을 생성한다.
• SimCSE 임베딩은 하위 주제(예: 아마존 리뷰에서 책 vs. 제품)에 따라 하위 군집을 형성할 수 있으며, 선형적인 의미적 구조를 드러낸다.
• T5-3B와 같은 더 큰 모델은 SimPTC와 함께 사용할 경우 일부 데이터셋에서 완전히 지도 학습된 BERT 성능을 따라하거나 초월한다.
• 추상적인 클래스 이름(예: 주관적 vs. 객관적)에서는 메서드의 성능이 떨어지며, 이는 의미적 추상성 처리에 대한 핵심적 한계를 시사한다.