[논문 리뷰] Template-free Prompt Tuning for Few-shot NER

Ruotian Ma, Xin Zhou외 5명|arXiv (Cornell University)|2021. 09. 28.

Topic Modeling인용 수 27

한 줄 요약

본 논문은 템플릿이 없는 프롬프트 튜닝 방식인 EntLM을 제시하여 NER을 엔티티 지향 LM 태스크로 재구성하고, 새로운 파라미터를 추가하지 않으면서도 효율적인 한 번의 디코딩 및 개선된 few-shot 성능을 가능하게 한다.

ABSTRACT

Prompt-based methods have been successfully applied in sentence-level few-shot learning tasks, mostly owing to the sophisticated design of templates and label words. However, when applied to token-level labeling tasks such as NER, it would be time-consuming to enumerate the template queries over all potential entity spans. In this work, we propose a more elegant method to reformulate NER tasks as LM problems without any templates. Specifically, we discard the template construction process while maintaining the word prediction paradigm of pre-training models to predict a class-related pivot word (or label word) at the entity position. Meanwhile, we also explore principled ways to automatically search for appropriate label words that the pre-trained models can easily adapt to. While avoiding complicated template-based process, the proposed LM objective also reduces the gap between different objectives used in pre-training and fine-tuning, thus it can better benefit the few-shot performance. Experimental results demonstrate the effectiveness of the proposed method over bert-tagger and template-based method under few-shot setting. Moreover, the decoding speed of the proposed method is up to 1930.12 times faster than the template-based method.

연구 동기 및 목표

• 템플릿이 비용이 많이 들고 span 열거가 금지될 때 개선된 few-shot NER을 촉진한다.
• 템플릿 없이 엔티티 위치에서 레이블 단어를 예측하기 위한 Entity-oriented LM (EntLM) 미세 조정 제안.
• 적합한 이산(discrete) 또는 가상(virtual) 레이블 단어를 식별하기 위한 레이블 단어 엔지니어링 방법을 조사한다.
• EntLM이 사전 학습과 미세 조정 간의 격차를 줄여 few-shot 성능을 향상시킨다는 것을 보여준다.

제안 방법

• EntLM 목적어를 통해 엔티티 토큰을 클래스 관련 레이블 단어로 대체하여 NER을 LM 태스크로 공식화한다.
• 사전 학습된 LM 헤드를 재사용한다; 미세 조정 동안 새로운 파라미터가 도입되지 않는다.
• 이산 단어와 가상 프로토타입을 포함한 레이블 단어 엔지니어링 방법을 개발한다.
• 레이블 단어 선택을 위해 데이터 분포, LM 출력 분포, 또는 이들의 조합을 탐색한다; 필요 시 어휘 사전 유래 주석을 사용한다.
• 스팬 열거 없이 모든 엔티티 레이블을 얻기 위해 one-pass 디코딩을 허용한다.
• Struct 기반 디코딩과 결합될 때 성능을 추가로 향상시키기 위해 선택적으로 Viterbi 디코더를 적용한다.

실험 결과

연구 질문

• RQ1 템플릿 없이 LM 목적어로 NER을 효과적으로 재구성하여 few-shot 시나리오를 달성할 수 있는가?
• RQ2 저자원 환경에서 EntLM을 가장 잘 지원하는 레이블 단어 전략은 무엇인가? (이산 vs. 가상; 데이터 주도 vs. LM 주도)
• RQ3 few-shot regime에서 EntLM은 템플릿 기반 프롬프트 방법 및 표준 미세 조정과 어떻게 비교되는가?
• RQ4 EntLM이 템플릿 기반 접근법과 비교하여 효율적인 디코딩을 유지하는가?
• RQ5 단어 사전의 품질과 도메인 적응 사전 학습이 EntLM 성능에 미치는 영향은 무엇인가?

주요 결과

• EntLM은 CoNLL03, OntoNotes 5.0, MIT-Movie에서 모든 few-shot 설정에서 BERT-tagger 및 템플릿 기반 NER을 능가한다.
• EntLM은 기준선보다 더 높은 안정성(편차 감소)을 달성하며, 특히 5-shot에서 두드러진다.
• EntLM으로의 디코딩은 템플릿 기반 방법보다 훨씬 빠르며(최대 1930.12x).
• Data+LM+Virtual 전략의 결합을 통한 레이블 단어 엔지니어링은 작은 어휘에서도 강건한 성능을 제공한다.
• 비라벨 데이터에서의 추가 도메인 특화 MLM 사전 학습은 EntLM 성능을 크게 향상시키며, 분류기 기반 미세 조정보다 더 큰 효과를 보인다.