[논문 리뷰] PTR: Prompt Tuning with Rules for Text Classification

Xu Han, Weilin Zhao외 3명|arXiv (Cornell University)|2021. 05. 24.

Topic Modeling참고 문헌 36인용 수 27

한 줄 요약

PTR은 다중 클래스 텍스트 분류를 위한 규칙 기반 프롬프트-튜닝 프레임워크를 도입하고, 서브 프롬프트를 논리 규칙과 결합하여 사전 지식을 인코딩하고 관계 분류 벤치마크의 성능을 향상시킵니다.

ABSTRACT

Fine-tuned pre-trained language models (PLMs) have achieved awesome performance on almost all NLP tasks. By using additional prompts to fine-tune PLMs, we can further stimulate the rich knowledge distributed in PLMs to better serve downstream tasks. Prompt tuning has achieved promising results on some few-class classification tasks such as sentiment classification and natural language inference. However, manually designing lots of language prompts is cumbersome and fallible. For those auto-generated prompts, it is also expensive and time-consuming to verify their effectiveness in non-few-shot scenarios. Hence, it is still challenging for prompt tuning to address many-class classification tasks. To this end, we propose prompt tuning with rules (PTR) for many-class text classification and apply logic rules to construct prompts with several sub-prompts. In this way, PTR is able to encode prior knowledge of each class into prompt tuning. We conduct experiments on relation classification, a typical and complicated many-class classification task, and the results show that PTR can significantly and consistently outperform existing state-of-the-art baselines. This indicates that PTR is a promising approach to take advantage of both human prior knowledge and PLMs for those complicated classification tasks.

연구 동기 및 목표

• 수동 프롬프트를 설계하기 어려운 다중 클래스 분류 작업에서 프롬프트 튜닝의 필요성을 제시한다.
• 논리 규칙 기반의 서브 프롬프트를 통해 사전 지식을 인코딩하는 PTR 프레임워크를 제안한다.
• 서브 프롬프트를 결합(conjunctions)으로 구성하는 것이 작업별 프롬프트를 효과적으로 만들어낸다는 것을 보인다.
• 강력한 기준선보다 관계 분류 벤치마크에서 PTR의 성능 향상을 입증한다.

제안 방법

• 작업 선행 지식을 포착하기 위한 일항/이항/다중 변수 술어의 조건 함수 집합 F를 정의한다.
• F에 속하는 각 조건 함수 f에 대해 서브 프롬프트 T_f(·)와 레이블 단어 집합 V_f를 설계한다.
• 규칙 기반 방식으로 합집합(결합)을 사용하여 서브 프롬프트를 최종 프롬프트 T(x)로 집계한다.
• 여러 개의 마스킹 위치와 토큰 수준 버랄라이저 φ를 사용해 [MASK] 토큰을 클래스 레이블에 매핑한다.
• 합성 프롬프트에 따라 올바른 레이블의 우도를 최대화하도록 모델을 학습한다: maximize (1/|X|) Σ_x log ∏_j p([MASK]_j = φ_j(y) | T(x)).
• 효과를 평가하기 위해 관계 분류 데이터셋 TACRED, TACREV, ReTACRED, 그리고 SemEval 2010 Task 8를 실험한다.

실험 결과

연구 질문

• RQ1 PTR이 규칙을 통해 사전 지식을 인코딩함으로써 다중 클래스 분류 작업에서 성능을 향상시킬 수 있는가?
• RQ2 관계 분류 벤치마크에서 PTR은 표준 미세조정과 지식 강화된 PLM과 어떻게 비교되는가?
• RQ3 관계를 반대로 하는 것이 PTR 성능에 미치는 영향은 무엇인가?
• RQ4 소수 샷 시나리오에서 PTR은 다른 프롬프트 기반 방법과 비교해 어떤 성능을 보이는가?

주요 결과

모델	TACRED	TACREV	ReTACRED	SEMEVAL
PTR	72.4	81.4	90.9	89.9
PTR (Reversed)	75.9	83.9	91.9	-

• 정상(반전되지 않은) 관계 설정을 사용할 때 PTR은 TACRED, TACREV, ReTACRED, SemEval에서 최첨단 기준선보다 상당히 지속적으로 우수한 성능을 보인다.
• 일부 관계를 반전시키는 것이 TACRED, TACREV, ReTACRED 데이터셋 전반에서 PTR의 상당한 성능 향상을 가져온다.
• PTR은 마커 기반 프롬프트 및 다른 프롬프트 조정 방법과 경쟁력 있거나 우수한 결과를 달성하며 추가적인 인간 주석이나 신경망 계층을 필요로 하지 않는다.
• 소수 샷 설정에서 PTR은 일부 기준선과 경쟁력 있거나 우수할 수 있어 규칙 기반 프롬프트 설계의 효율성을 강조한다.
• PTR은 일부 프롬프트 기반 대안에 비해 수렴 속도가 더 빠르게 나타난다.