[논문 리뷰] TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition

Jiang Liu, Hao Fei외 6명|arXiv (Cornell University)|2023. 06. 06.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소수의 샘플에서 이름 있는 엔터티 인식을 위해 소프트 프롬프트 임베딩에 의미어, 레이블, 그리고 맥락 지식을 통합하는 삼중 지식 강화 딥 프롬프트 튜닝 프레임워크인 TKDP를 제안한다. 사전 학습된 언어 모델의 다수의 레이어에 지식 강화 프롬프트를 통합함으로써 TKDP는 기준 프롬프트 튜닝 대비 최대 11.53% 높은 F1 스코어를 달성하였으며, 다섯 개의 데이터셋에서 5-, 10-, 20-샷 설정에서 여덟 개의 강력한 기준 대비 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Few-shot named entity recognition (NER) exploits limited annotated instances to identify named mentions. Effectively transferring the internal or external resources thus becomes the key to few-shot NER. While the existing prompt tuning methods have shown remarkable few-shot performances, they still fail to make full use of knowledge. In this work, we investigate the integration of rich knowledge to prompt tuning for stronger few-shot NER. We propose incorporating the deep prompt tuning framework with threefold knowledge (namely TKDP), including the internal 1) context knowledge and the external 2) label knowledge & 3) sememe knowledge. TKDP encodes the three feature sources and incorporates them into the soft prompt embeddings, which are further injected into an existing pre-trained language model to facilitate predictions. On five benchmark datasets, our knowledge-enriched model boosts by at most 11.53% F1 over the raw deep prompt method, and significantly outperforms 8 strong-performing baseline systems in 5-/10-/20-shot settings, showing great potential in few-shot NER. Our TKDP can be broadly adapted to other few-shot tasks without effort.

연구 동기 및 목표

• 기존의 프롬프트 튜닝 방법이 소수의 샘플에서 이름 있는 엔터티 인식을 수행할 때 내부 및 외부 지식을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 의미어, 레이블, 맥락과 같은 다수의 지식 소스를 통합함으로써 소수의 샘플에서 이름 있는 엔터티 인식 성능을 향상시킬 수 있는지 탐구하기 위해.
• 제한된 레이블 데이터에서 일반화 능력을 향상시키기 위해 소프트 프롬프트 임베딩에 세 가지 유형의 지식을 효과적으로 융합하는 딥 프롬프트 튜닝 프레임워크를 개발하기 위해.
• 제안된 방법이 다양한 소수의 샘플에서 이름 있는 엔터티 인식 벤치마크에서 효과적이고 광범위하게 적용 가능함을 입증하기 위해.

제안 방법

• TKDP는 HowNet에서 유래한 의미어 지식, 레이블 설명, 문장 맥락 특징을 프롬프트 튜닝 프레임워크에 통합한다.
• 더 풍부한 의미를 가지기 위해 의미어 임베딩을 입력 표현과 레이블 표현 양쪽에 통합함으로써 텍스트 및 레이블 표현을 향상시킨다.
• 강화된 표현에서 지식 강화 소프트 프롬프트 임베딩을 생성하고, 이를 사전 학습된 언어 모델(PLM)의 다수의 레이어에 통합한다.
• 멀티 레이어 통합 전략을 사용하여 프롬프트 임베딩을 PLM의 다양한 깊이에 삽입함으로써 맥락 표현과의 깊은 상호작용을 가능하게 한다.
• 모델은 BIO 시퀀스 레이블링을 최적화하기 위해 엔드 투 엔드로 훈련되며, 어텐션 메커니즘을 통해 관련 지식 강화 프롬프트 토큰에 집중할 수 있도록 한다.
• 제거 실험을 통해 각 지식 유형의 기여도와 프롬프트 깊이 및 길이 하이퍼파rameter의 효과성을 확인한다.

실험 결과

연구 질문

• RQ1 의미어, 레이블, 맥락 지식을 소프트 프롬프트에 통합함으로써 소수의 샘플에서 이름 있는 엔터티 인식 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 소수의 샘플에서 이름 있는 엔터티 인식 성능에 프롬프트의 깊이와 길이는 어떻게 영향을 미치는가?
• RQ3 지식 강화 프롬프트 튜닝이 저자원 환경에서 표준 딥 프롬프트 튜닝 및 기타 프롬프트 기반 기준 대비 우수한 성능을 보일 수 있는가?
• RQ4 추론 과정에서 PLM의 어텐션 메커니즘이 지식 증강 프롬프트 토큰과 어떻게 상호작용하는가?

주요 결과

• TKDP는 모든 다섯 개의 벤치마크 데이터셋에서 지식 통합 없이도 원본 딥 프롬프트 튜닝 방법 대비 최대 11.53% 높은 F1 스코어를 달성하였다.
• 5-, 10-, 20-샷 설정에서 프롬프트 튜닝, p-tuning, 프리픽스 튜닝, 그리고 이산 템플릿 기반 방법을 포함한 여덟 개의 강력한 기준 시스템보다 모델이 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해 의미어, 레이블, 맥락의 세 가지 지식 유형이 성능 향상에 독립적으로 기여하며 상호 보완적인 효과를 가짐을 확인하였다.
• 프롬프트 깊이가 증가할수록 성능이 향상되었으며, 최적의 결과는 12층에서 관찰되어 더 깊은 통합이 지식 활용을 향상시킴을 시사한다.
• 프롬프트 길이가 일부 데이터셋(예: WNUT-2017 및 JNLPBA)에서는 더 두드러진 영향을 미치며, 더 긴 프롬프트가 더 좋은 결과를 낳는 것으로 나타나, 지식 통합에 더 높은 용량을 제공함을 시사한다.
• 어텐션 시각화 결과, 지식 강화 프롬프트가 엔터티 명시어인 "Jim Courier" 및 "U.S."와 같은 관련 입력 토큰에 더 효과적으로 집중하는 것으로 나타났으며, 이는 정확한 예측으로 이어졌다.