[논문 리뷰] TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition

Bill Yuchen Lin, Dong-Ho Lee외 5명|arXiv (Cornell University)|2020. 04. 16.

Topic Modeling참고 문헌 25인용 수 11

한 줄 요약

이 논문은 '엔티티 트리거'—명시적 엔티티 인식을 유도하는 짧고 설명적인 구문—를 소개하고, 소수의 예시에서 NER를 향상시키기 위해 트리거 표현과 소프트 매칭을 동시에 학습하는 트리거 매칭 네트워크(TMN)를 제안한다. 트리거가 주어진 데이터의 20%만 사용해도 표준 데이터의 70%를 사용했을 때와 유사한 성능을 달성하며, 이는 레이블링 비용을 크게 줄이고 모델의 해석 가능성까지 향상시킨다.

ABSTRACT

Training neural models for named entity recognition (NER) in a new domain often requires additional human annotations (e.g., tens of thousands of labeled instances) that are usually expensive and time-consuming to collect. Thus, a crucial research question is how to obtain supervision in a cost-effective way. In this paper, we introduce "entity triggers," an effective proxy of human explanations for facilitating label-efficient learning of NER models. An entity trigger is defined as a group of words in a sentence that helps to explain why humans would recognize an entity in the sentence. We crowd-sourced 14k entity triggers for two well-studied NER datasets. Our proposed model, Trigger Matching Network, jointly learns trigger representations and soft matching module with self-attention such that can generalize to unseen sentences easily for tagging. Our framework is significantly more cost-effective than the traditional neural NER frameworks. Experiments show that using only 20% of the trigger-annotated sentences results in a comparable performance as using 70% of conventional annotated sentences.

연구 동기 및 목표

• 신경망 NER 모델 학습에 필요한 인간 레이블링 데이터의 높은 비용을 줄이기 위해 설명적 지도 학습의 새로운 형태를 도입하기 위해.
• 엔티티 트리거—사람이 엔티티를 인식하는 데 도움이 되는 구문—가 효과적인 저비용 지도 신호로 기능할 수 있는지 조사하기 위해.
• 사용자 정의된 엔티티 인식에 적합한 트리거 표현을 동시에 학습하고 소프트 매칭을 수행하는 모델을 개발하여, 새로운 문장에 일반화할 수 있도록 하기 위해.
• 엔티티 트리거를 표준 엔티티 레이블링과 융합하여 NER의 일반화 능력과 해석 가능성 향상시키기 위해.
• 커뮤니티 사용을 위해 두 가지 벤치마크 NER 데이터셋에 대한 14,708개의 커뮤니티 기반 트리거 데이터셋을 공개하기 위해.

제안 방법

• 두 가지 주요 NER 데이터셋에 대해 14,708개의 엔티티 트리거를 커뮤니티 기반으로 수집하였으며, 트리거는 엔티티 인식을 유도하는 짧고 의미 있는 구문이다(예: 레스토랑에 대해 '…을(를) 점심으로 먹었다' 등).
• 트리거 매칭 네트워크(TMN)를 제안하였으며, 이는 트리거 인코더, 자기어텐션을 갖는 의미적 트리거 매칭 모듈, 시퀀스 태거로 구성된 세 가지 구성 요소로 이루어진 프레임워크이다.
• TMN를 두 단계로 학습: 첫 번째 단계에서는 트리거 분류기와 소프트 매칭 모듈을 동시에 최적화하고, 두 번째 단계에서는 인코딩된 문장과 학습된 트리거 표현에 대한 어텐션을 활용해 태거를 보정한다.
• 자기어텐션을 사용해 레이블이 없는 문장 내 트리거를 학습된 트리거 표현과 동적으로 매칭함으로써, 새로운 예측에 대한 일반화 능력을 향상시킨다.
• 엔티티 레이블링과 트리거 레이블링을 모두 지도 신호로 활용하여, 더 적은 수의 레이블된 예시에서 패턴을 학습할 수 있도록 한다.
• 소프트 매칭 모듈을 설계하여, 어휘적 일치 외에도 의미적 유사도 기반으로 새로운 문장 내 관련 트리거를 식별하도록 하였다.

실험 결과

연구 질문

• RQ1 사람이 엔티티를 인식하는 데 도움이 되는 원인을 설명하는 구문인 엔티티 트리거가, NER 모델 학습에 효과적이고 저비용의 지도 신호로 기능할 수 있는가?
• RQ2 트리거 표현 학습과 소프트 매칭을 동시에 수행함으로써, 소수의 예시에서 NER의 일반화 능력이 향상되는가?
• RQ3 트리거를 강화한 모델이 훨씬 적은 레이블링 데이터를 사용하면서도 완전히 지도된 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 표준 신경망 NER 모델과 비교해 트리거를 포함함으로써 모델의 해석 가능성은 어떻게 향상되는가?
• RQ5 이러한 프레임워크는 이식 가능한 트리거 패턴을 활용해 저자원 도메인이나 언어로 확장 가능한가?

주요 결과

• 트리거 레이블링 문장의 20%만 사용해도 표준 레이블링 문장의 70%를 사용했을 때와 유사한 NER 성능을 달성하여, 레이블링 비용을 크게 줄였음을 입증하였다.
• 트리거 매칭 네트워크(TMN)는 최소한의 레이블된 데이터로도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 저자원 환경에서 표준 신경망 NER 기반 모델보다 뛰어난 성능을 보였다.
• 엔티티 이름이 가려지거나 무작위 토큰으로 대체된 경우에도 의미적 트리거 매칭을 통해 효과적으로 새로운 문장에 일반화하는 데 성공하였다.
• 트리거를 포함시킴으로써 모델의 해석 가능성 향상이 이루어졌으며, 인간이 이해할 수 있는 유도어구를 사용해 예측의 근거를 설명할 수 있었다.
• 14,708개의 트리거를 포함한 커뮤니티 기반 트리거 데이터셋을 공개하여, 향후 저자원 및 해석 가능한 NER 연구에 기여하였다.
• 이 프레임워크는 기존 NER 파ip라인과 호환되며, 원거리 지도 학습이나 활성 학습과 같은 다른 기법과도 조합 가능하다.