[논문 리뷰] Eliciting Knowledge from Language Models for Event Extraction.

Jiaju Lin, Jian Jin외 1명|arXiv (Cornell University)|2021. 09. 11.

Topic Modeling참고 문헌 21인용 수 7

한 줄 요약

이 논문은 이벤트 추출을 위해 사전 학습된 언어 모델에서 지식을 유도하기 위한 통합 프롬프트 기반 방법을 제안한다. 특히 트리거 탐지와 어휘 추출에 초점을 맞추고 있다. 맞춤형 프롬프트를 통해 트리거와 어휘 간의 상호작용을 모델링함으로써, ACE2005 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 최소한의 학습 데이터를 가진 소수 샘플 설정에서 뛰어난 성능을 보였다.

ABSTRACT

Eliciting knowledge contained in language models via prompt-based learning has shown great potential in many natural language processing tasks, such as text classification and generation. Whereas, the applications for more complex tasks such as event extraction are less studied, since the design of prompt is not straightforward due to the complicated types and arguments. In this paper, we explore to elicit the knowledge from pre-trained language models for event trigger detection and argument extraction. Specifically, we present various joint trigger/argument prompt methods, which can elicit more complementary knowledge by modeling the interactions between different triggers or arguments. The experimental results on the benchmark dataset, namely ACE2005, show the great advantages of our proposed approach. In particular, our approach is superior to the recent advanced methods in the few-shot scenario where only a few samples are used for training.

연구 동기 및 목표

• 다양한 이벤트 유형과 어휘를 포함하는 복잡한 이벤트 추출 작업에 프롬프트 기반 학습을 적용하는 데 도전하는 것.
• 맞춤형 프롬프트를 통해 트리거와 어휘를 통합적으로 모델링하여 이벤트 추출 성능을 향상시키는 것.
• 소자원(소수 샘플) 환경에서 기존 방법보다 프롬프트 기반 지식 유도가 더 우수한 성능을 낼 수 있는지 탐색하는 것.
• 이벤트 트리거와 그 어휘 간의 상호작용을 잘 포착하는 효과적인 프롬프트를 설계하는 것.

제안 방법

• 이벤트 트리거 탐지와 어휘 추출을 동시에 유도하는 통합 트리거/어휘 프롬프트 방법을 제안한다.
• 이벤트 트리거와 그 어휘 간의 관계를 인코딩하여 그 상호작용을 모델링할 수 있도록 전용 프롬프트를 설계한다.
• 프롬프트 템플릿을 기반으로 사전 학습된 언어 모델이 예측을 생성하도록 하며, 문맥 내 학습을 활용한다.
• 최소한의 레이블이 부여된 예시로 모델을 적응시키기 위해 소수 샘플 미세조정 전략을 적용한다.
• 다양한 프롬프트 변형을 통합하여 언어 모델의 보완 지식을 탐색한다.
• 성능 평가를 위해 ACE2005 벤치마크 데이터셋에 해당 방법을 적용하여 표준 설정과 소수 샘플 설정 모두에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 학습이 복잡한 이벤트 추출 작업에 대해 언어 모델에서 지식을 효과적으로 유도할 수 있는가?
• RQ2 프롬프트를 통한 트리거와 어휘의 통합 모델링이 독립적 모델링 대비 추출 성능을 얼마나 향상시키는가?
• RQ3 제안된 방법이 소자원(소수 샘플) 환경에서 얼마나 잘 일반화되는가?
• RQ4 프롬프트 설계가 이벤트 트리거와 어휘 간의 상호작용을 포착하는 데 미치는 영향은 무엇인가?

주요 결과

• 제안된 통합 프롬프트 기반 방법은 이벤트 추출에서 ACE2005 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 제한된 학습 데이터를 가진 소수 샘플 학습 환경에서 최근 고도로 발전된 접근 방식보다 뚜렷하게 뛰어난 성능을 보인다.
• 프롬프트를 통한 트리거와 어휘의 통합 모델링은 더 보완적이고 정확한 예측을 이끈다.
• 이벤트 요소 간의 상호작용을 포착하는 프롬프트 설계가 전체 추출 품질을 향상시킨다.