[논문 리뷰] Prototypical Verbalizer for Prompt-based Few-shot Tuning

Ganqu Cui, Shengding Hu외 3명|arXiv (Cornell University)|2022. 03. 18.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 프로토타입 기반 대체어 생성을 위한 새로운 방법인 프로토타입 버벌라이저(ProtoVerb)를 제안한다. 이 방법은 대조 학습을 사용해 훈련 데이터에서 클래스 프로토타입을 학습함으로써 프롬프트 기반 소수 예제 테이닝에서 자동으로 버벌라이저를 생성한다. ProtoVerb는 기존의 자동 버럴라이저보다 뛰어나며, 특히 저자료 환경에서 두각을 나타내며, 인간이 설계한 레이블 단어 없이도 풍부하고 추상적인 클래스 수준의 의미를 포착함으로써 미세조정되지 않은 사전학습된 언어 모델의 성능까지 향상시킨다.

ABSTRACT

Prompt-based tuning for pre-trained language models (PLMs) has shown its effectiveness in few-shot learning. Typically, prompt-based tuning wraps the input text into a cloze question. To make predictions, the model maps the output words to labels via a verbalizer, which is either manually designed or automatically built. However, manual verbalizers heavily depend on domain-specific prior knowledge and human efforts, while finding appropriate label words automatically still remains challenging.In this work, we propose the prototypical verbalizer (ProtoVerb) which is built directly from training data. Specifically, ProtoVerb learns prototype vectors as verbalizers by contrastive learning. In this way, the prototypes summarize training instances and are able to enclose rich class-level semantics. We conduct experiments on both topic classification and entity typing tasks, and the results demonstrate that ProtoVerb significantly outperforms current automatic verbalizers, especially when training data is extremely scarce. More surprisingly, ProtoVerb consistently boosts prompt-based tuning even on untuned PLMs, indicating an elegant non-tuning way to utilize PLMs. Our codes are avaliable at https://github.com/thunlp/OpenPrompt.

연구 동기 및 목표

• 수동적 버럴라이저의 한계를 해결하기 위해, 특히 자원이 부족한 환경에서 도메인 전문 지식과 인간의 노력이 요구되는 문제를 해결하고자 한다.
• 저자료 환경에서 성능이 열 劣하는 등의 문제를 해결하기 위해, 훈련 인스턴스로부터 대표적인 클래스 수준의 의미를 학습함으로써 자동 버럴라이저 생성의 과제를 해결하고자 한다.
• 사전학습된 언어 모델의 미세조정 없이도 사용할 수 있는 플러그 앤 플레이(non-tuning) 방법을 개발하고자 한다.
• 소수의 예시에서 학습된 프로토타입이 추상적이고 인간과 유사한 클래스 개념을 포착하고, 미관측 데이터로도 잘 일반화되는지 조사하고자 한다.

제안 방법

• ProtoVerb는 인스턴스와 프로토타입 간의 유사도를 높이고 클래스 중심으로 프로토타입을 이동시키기 위해 InfoNCE 손실을 사용하는 대조 학습을 적용하여 각 클래스에 대한 연속적인 프로토타입 벡터를 학습한다.
• 이 방법은 두 가지 손실 구성 요소를 사용한다: 인스턴스-인스턴스 대조 손실은 동일 클래스 내 인스턴스를 군집하고 서로 다른 클래스의 인스턴스를 분리하며, 인스턴스-프로토타입 손실은 프로토타입이 중심 표현이 되도록 강제한다.
• 프로토타입은 사전학습된 언어 모델의 은닉 표현을 사용하여 엔드 투 엔드로 최적화되며, 제한된 훈련 데이터에서 풍부한 클래스 수준의 의미를 요약할 수 있다.
• 학습된 프로토타입은 모델 예측(예: [MASK] 토큰)을 클래스 레이블로 매핑하기 위해 프로토타입 벡터와의 코사인 유사도를 통해 버럴라이저로 기능한다.
• 프로토타입을 해석하기 위해, 임베딩 공간 정렬을 사용해 어휘에서 가장 유사한 단어들을 검색하며, 프로토타입 의미 분석이 가능해진다.
• 이 방법은 수동 버럴라이저와 미세조정되지 않은 사전학습된 모델과 모두 호환되도록 설계되어 있어 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 소수의 훈련 인스턴스에서 학습된 프로토타입이 소수 예제 학습에서 클래스 수준의 의미를 효과적으로 표현할 수 있는가?
• RQ2 저자료 조건 하에서 수동, 검색 기반, 소프트 버럴라이저와 비교해 ProtoVerb의 성능과 강건성은 어떠한가?
• RQ3 ProtoVerb가 새로운 데이터로 일반화되고, 단지 실체 수준의 이름이 아니라 추상적 개념을 얼마나 잘 포착하는가?
• RQ4 미세조정되지 않은 사전학습된 언어 모델을 사용할 때도 ProtoVerb가 성능 향상에 기여하는가?
• RQ5 의미 정렬 측면에서 학습된 프로토타입이 인간이 설계한 버럴라이저와 얼마나 유사한가?

주요 결과

• ProtoVerb는 저자료 환경에서 특히 두각을 나타내며, 주제 분류 및 실체 유형 지정 작업 모두에서 최신 자동 버럴라이저보다 뛰어난 성능을 보였다.
• AG’s News 데이터셋에서 단 1개의 예제만으로도 ProtoVerb는 78.4%의 정확도를 달성했으며, 이는 다음으로 우수한 베이스라인보다 5퍼센트 이상 높은 성능이었다.
• 수동 버럴라이저와 조합했을 때도 ProtoVerb는 추가 비용을 최소한으로 하면서 일관되게 성능 향상을 이끌어내어 보완적 개선 요소임을 입증했다.
• ProtoVerb는 레이블 노이즈에 강건하다: 1~3개의 잘못된 레이블 샘플이 포함된 경우에도 기존 방법보다 성능 저하가 현저히 낮았다.
• 단 하나의 훈련 예시만으로도 ProtoVerb는 의미 있는 프로토타입을 생성한다. 예를 들어 'Sports' 클래스에 대해 'Dodgers' 또는 'Knicks'를 식별함으로써 중요한 의미적 단서를 추출할 수 있음을 보여주었다.
• 샷 크기가 커질수록 프로토타입과 수동 버럴라이저 간의 유사도가 증가하여, 평균적으로 0.25 이상의 정규화된 유사도를 기록했으며, 'Sports'와 'Business'에서 가장 높은 유사도를 보여, 개념적 특징의 효과적인 추상화를 이룬 것으로 나타났다.