[논문 리뷰] LabelPrompt: Effective Prompt-based Learning for Relation Classification

Wenjie Zhang, Xiaoning Song외 3명|arXiv (Cornell University)|2023. 02. 16.

Topic Modeling인용 수 7

한 줄 요약

LabelPrompt은 레이블 토큰과 엔티티 의식적 주의 전략 프레임워크를 도입하여 특히 few-shot 설정에서 프롬프트 기반 관계 분류를 개선합니다.

ABSTRACT

Recently, prompt-based learning has gained popularity across many natural language processing (NLP) tasks by reformulating them into a cloze-style format to better align pre-trained language models (PLMs) with downstream tasks. However, applying this approach to relation classification poses unique challenges. Specifically, associating natural language words that fill the masked token with semantic relation labels ( extit{e.g.} extit{``org:founded\_by}'') is difficult. To address this challenge, this paper presents a novel prompt-based learning method, namely LabelPrompt, for the relation classification task. Motivated by the intuition to ``GIVE MODEL CHOICES!'', we first define additional tokens to represent relation labels, which regard these tokens as the verbaliser with semantic initialisation and explicitly construct them with a prompt template method. Then, to mitigate inconsistency between predicted relations and given entities, we implement an entity-aware module with contrastive learning. Last, we conduct an attention query strategy within the self-attention layer to differentiates prompt tokens and sequence tokens. Together, these strategies enhance the adaptability of prompt-based learning, especially when only small labelled datasets is available. Comprehensive experiments on benchmark datasets demonstrate the superiority of our method, particularly in the few-shot scenario.

연구 동기 및 목표

• 프리트레이닝 목표와 관계 분류 작업 간의 간극을 메우다.
• 프롬프트 기반 학습이 단일 단어 어휘 항목을 넘어 복잡한 관계 레이블을 다룰 수 있도록 한다.
• 주어진 엔티티와 예측된 관계 간의 불일치를 엔티티 인식 모듈을 통해 완화한다.
• 레이블 프롬프트를 활용하되 프롬프트 토큰과 문장 토큰을 구별하여 문장 의미를 보존한다.
• 표준 RC 벤치마크에서 few-shot 및 전체 데이터 설정에서 강력한 성능 향상을 입증한다.

제안 방법

• 의미 라벨 텍스트로부터 초기화된 관계 레이블 토큰으로 어휘를 확장한다.
• 주체와 목적 엔티티 옆에 레이블 토큰을 직접 입력에 삽입하는 프롬프트 템플릿을 사용한다.
• 모델 헤드에서 레이블 토큰의 의미 의미를 강화하는 관계 정합 모듈을 도입한다.
• 엔티티-관계 삼중항에 대한 대비 손실을 사용하여 예측을 엔티티 맥락에 근거시키는 엔티티 인식 모듈을 추가한다.
• self-attention에서 프롬프트-프롬프트, 프롬프트-문장, 문장-프롬프트, 문장-문장 상호작용에 대해 별도의 쿼리 매핑을 사용하도록 주의(attention) 질의 전략을 채택한다.

실험 결과

연구 질문

• RQ1 라벨 토큰과 프롬프트 템플릿을 어떻게 설계하면 마스킹된 출력이 복잡한 관계 레이블에 더 잘 매핑될 수 있나?
• RQ2 특정 엔티티 페어 간 관계 이해를 향상시키는 엔티티 인식 대비 학습 신호가 가능한가?
• RQ3 맞춤형 주의(attention)를 통해 프롬프트 토큰과 문장 토큰을 구분하는 것이 데이터가 제한적일 때 RC 성능을 향상시키는가?
• RQ4 표준 벤치마크에서 파인튜닝 및 기존 프롬프트 기반 RC 방법과 비교한 LabelPrompt의 이점은 무엇인가?

주요 결과

k샷	방법	TACRED	TACREV	ReTACRED	SemEval
8	Fine-tuning	12.2	13.5	28.5	41.3
8	GDPNet	11.8	12.3	29.0	42.0
8	PTR	28.1	28.7	51.5	70.5
8	KnowPrompt	32.0	32.1	55.3	74.3
8	LabelPrompt	33.9	34.8	61.5	77.0
16	Fine-tuning	21.5	22.3	49.5	65.2
16	GDPNet	22.5	23.8	50.0	67.5
16	PTR	30.7	31.4	56.2	81.3
16	KnowPrompt	35.4	33.1	63.3	82.9
16	LabelPrompt	34.4	35.4	64.5	81.7
32	Fine-tuning	28.0	28.2	56.0	80.1
32	GDPNet	28.8	29.1	56.5	81.2
32	PTR	32.1	32.4	62.1	84.2
32	KnowPrompt	36.5	34.7	65.0	84.8
32	LabelPrompt	35.4	36.8	66.7	84.6

• LabelPrompt는 TACRED, TACREV, ReTACRED, SemEval에서 few-shot 설정에서 baselines보다 더 높은 마이크로 F1을 달성한다.
• 8샷, 16샷, 32샷 시나리오에서 LabelPrompt는 이전 프롬프트 기반 방법을 능가하고 종종 파인튜닝 베이스라인보다 여러 데이터셋에서 성능이 우수하다.
• LabelPrompt는 few-shot 및 전체 데이터 평가에서 KnowPrompt와 PTR에 비해 일관되게 성능을 향상시킨다.
• 추가 데이터 없이 전체 데이터에서 LabelPrompt는 TACRED 73.1, TACREV 82.5, ReTACRED 91.6, SemEval 91.3를 달성하여 여러 베이스라인을 능가한다.