[논문 리뷰] Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

Shengding Hu, Ning Ding외 6명|arXiv (Cornell University)|2021. 08. 04.

Topic Modeling인용 수 70

한 줄 요약

본 논문은 Knowledgeable Prompt-tuning (KPT)를 제안한다. 이는 외부 지식 베이스를 활용하여 verbalizers를 확장·정제하여 프롬프트 기반 텍스트 분류를 개선하고, 특히 제로샷 및 소수샷 설정에서 효과적으로 작동한다. KPT는 다양한 레이블 단어와 정제 기법을 활용함으로써 오류율을 낮추고 예측의 안정성을 높인다.

ABSTRACT

Tuning pre-trained language models (PLMs) with task-specific prompts has been a promising approach for text classification. Particularly, previous studies suggest that prompt-tuning has remarkable superiority in the low-data scenario over the generic fine-tuning methods with extra classifiers. The core idea of prompt-tuning is to insert text pieces, i.e., template, to the input and transform a classification problem into a masked language modeling problem, where a crucial step is to construct a projection, i.e., verbalizer, between a label space and a label word space. A verbalizer is usually handcrafted or searched by gradient descent, which may lack coverage and bring considerable bias and high variances to the results. In this work, we focus on incorporating external knowledge into the verbalizer, forming a knowledgeable prompt-tuning (KPT), to improve and stabilize prompt-tuning. Specifically, we expand the label word space of the verbalizer using external knowledge bases (KBs) and refine the expanded label word space with the PLM itself before predicting with the expanded label word space. Extensive experiments on zero and few-shot text classification tasks demonstrate the effectiveness of knowledgeable prompt-tuning.

연구 동기 및 목표

• 수동 버벌라이저의 한정된 커버리지와 편향을 다룸으로써 프롬프트 튜닝의 개선을 추진한다.
• 각 클래스의 레이블 단어 집합을 확장하기 위해 외부 지식 베이스를 활용한다.
• 확장된 버벌라이저의 노이즈를 걸러내기 위한 정제 메커니즘을 개발한다.
• 여러 데이터셋에서 제로샷 및 소수샷 텍스트 분류에서 KPT를 평가한다.

제안 방법

• 입רא를 프롬프트 템플릿으로 래핑하여 분류를 마스킹된 언어 모델링으로 변환한다.
• 각 클래스를 외부 KB에서 관련 레이블 단어로 확장하여 지식 있는 버벌라이저를 구성한다.
• 확장된 버벌라이저를 빈도, 관련성, 맥락화 보정, 학습 가능한 정제를 사용하여 정제한다.
• 정제된 버벌라이저를 평균 또는 가중 평균 점수로 사용하여 레이블-단어 점수를 클래스 확률로 매핑한다.

실험 결과

연구 질문

• RQ1 외부 지식 베이스가 텍스트 분류를 위한 버벌라이저의 적용 범위를 확장할 수 있는가?
• RQ2 정제 단계가 제로샷 및 소수샷 설정에서 노이즈를 줄이고 안정성을 향상시키는가?
• RQ3 KPT 변형이 표준 PT 및 다른 기준들보다 데이터셋 전체에서 어떤 이점을 달성하는가?
• RQ4 맥락화 보정이 제로샷 시나리오에서 지식 확장 버벌라이저와 어떻게 상호작용하는가?

주요 결과

• KPT 변형은 제로샷 및 소수샷 설정에서 표준 프롬프트 튜닝 및 간단한 버벌라이저보다 우수하다.
• 맥락화 보정(CC)은 제로샷에서 특히 실질적인 향상을 제공하며, PT 기준선에 비해 평균적으로 큰 개선을 보인다.
• 정제 방법들(빈도, 관련성, 공유 클래스 보정, 학습 가능한 정제)은 레이블 노이즈를 줄이고 성능을 향상시키며, 특히 주제 분류 작업에서 두드러진다.
• KPT는 예측 분산을 줄이고 샷 간에 더 안정적인 성능을 제공한다.
• 제로샷에서 KPT는 오류율 감소를 달성하고 클래스 이름을 넘는 다양하고 다층적 레이블 단어를 시연한다.