[논문 리뷰] Entity, Relation, and Event Extraction with Contextualized Span Representations

David Wadden, Ulme Wennberg외 2명|arXiv (Cornell University)|2019. 09. 08.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 문맥 기반 스팬 표현을 사용하여 엔티티, 관계, 이벤트 추출을 종합적으로 수행하는 DyGIE++라는 통합 다중 작업 프레임워크를 소개한다. BERT 기반 문맥 임베딩과 동적 스팬 그래프 전파(특히 공호성 링크를 통해)를 결합함으로써, 네 가지 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 국소적이고 장거리의 문장 간 종속성을 효과적으로 모델링함으로써 오류율을 최대 27.9%까지 감소시켰다.

ABSTRACT

We examine the capabilities of a unified, multi-task framework for three information extraction tasks: named entity recognition, relation extraction, and event extraction. Our framework (called DyGIE++) accomplishes all tasks by enumerating, refining, and scoring text spans designed to capture local (within-sentence) and global (cross-sentence) context. Our framework achieves state-of-the-art results across all tasks, on four datasets from a variety of domains. We perform experiments comparing different techniques to construct span representations. Contextualized embeddings like BERT perform well at capturing relationships among entities in the same or adjacent sentences, while dynamic span graph updates model long-range cross-sentence relationships. For instance, propagating span representations via predicted coreference links can enable the model to disambiguate challenging entity mentions. Our code is publicly available at https://github.com/dwadden/dygiepp and can be easily adapted for new tasks or datasets.

연구 동기 및 목표

• 공동으로 명명된 엔티티 인식, 관계 추출, 이벤트 추출을 수행하는 통합 다중 작업 프레임워크를 개발하는 것.
• 스패닝 표현을 통해 문장 내 국소적이고 문장 간 전역적인 맥락을 통합함으로써 정보 추출 성능을 향상시키는 것.
• 문맥 기반 임베딩(BERT 등)과 스팬 그래프를 기반으로 한 동적 메시지 전파가 다양한 정보 추출 과제에서 성능 향상에 기여하는 방식을 조사하는 것.
• 특화된 도메인(예: 과학 문헌)에서의 성능 향상에 기여하는 도메인 내 사전학습(예: SciBERT)의 영향을 평가하는 것.
• 공호성 전파가 잘못 분류된 엔티티 언급을 수정하고 일반화 능력을 향상시키는 데 기여하는 방식을 분석하는 것.

제안 방법

• 다중 문장을 BERT에 입력할 수 있도록 슬라이딩 윈도우 방식을 사용하여 토큰 표현의 다중 문장 맥락화를 가능하게 한다.
• 각 문서 내에서 가능한 모든 스팬(최대 길이까지)을 후보 엔티티, 관계, 이벤트 트리거로 나열한다.
• BERT로 인코딩된 토큰 표현과 학습된 스팬 폭 임베딩을 연결하여 스팬 표현을 구성한다.
• 간선이 예측된 관계(예: 공호성, 문법적, 작업 전용 연결)를 나타내는 스팬 그래프 상에서 동적 그래프 전파를 적용하여 스팬 표현을 반복적으로 업데이트한다.
• 스패닝 그래프 상에서 동적 메시지 전파의 세 가지 변형을 사용한다: 공호성 기반(CorefProp), 문법적(SyntacticProp), 관계 기반(RelProp)이며, 이웃 기여도를 가중치로 부여하기 위해 어텐션 메커니즘을 활용한다.
• 엔티티 분류, 관계 분류, 이벤트 트리거 탐지, 어휘 역할 레이블링을 위한 별도의 스코어링 헤드를 사용하며, 모든 작업을 종단 간(end-to-end)으로 훈련한다.

실험 결과

연구 질문

• RQ1 공유 스팬 표현을 사용하여 명명된 엔티티 인식, 관계 추출, 이벤트 추출을 종합적으로 최적화할 수 있는가?
• RQ2 BERT와 같은 문맥 기반 임베딩이 정보 추출 과제에 관련된 문장 간 종속성을 포괄적으로 포착하는 데 얼마나 효과적인가?
• RQ3 특히 장거리 또는 복잡한 종속성 상황에서, BERT만 사용하는 것보다 스팬 그래프 상에서 동적 메시지 전파가 성능 향상에 얼마나 기여하는가?
• RQ4 도메인 내 사전학습(예: SciBERT)은 과학 문헌과 같은 특화된 도메인에서 성능에 어떤 영향을 미치는가?
• RQ5 공호성 전파가 잘못 분류된 엔티티 언급을 어떻게 수정하며, 스팬 표현 정교화에 어떤 영향을 미치는가?

주요 결과

• DyGIE++는 네 가지 다양한 데이터셋에서 명명된 엔티티 인식, 관계 추출, 이벤트 추출의 세 가지 과제에서 최신 기술 수준의 성능을 달성하였으며, 상대 오류율 감소율은 0.2%에서 27.9%까지 다양하다.
• BERT 기반 맥락화가 단일 문장의 윈도우를 초월한 효과적인 맥락 창을 확장함으로써 성능 향상에 기여하며, 특히 다중 문장을 대상으로 슬라이딩 윈도우를 적용할 경우 두드러진다.
• 공호성 링크를 통한 그래프 전파(CorefProp)는 문장 간에 존재하는 전행 언급으로부터 정보를 전파함으로써 너무 구체적인 엔티티 예측(예: 'Method'에서 'Other Scientific Term'으로)을 수정할 수 있도록 한다.
• 수정 사례의 68%에서 가장 영향력 있는 공호성 업데이트가 다른 문장의 명명된 엔티티에서 유래하였으며, 이는 문장 간 정보 흐름의 효과성을 입증한다.
• BERT와 LSTM 레이어를 조합한 그래프 전파 기반 접근은 단지 1,500만 개의 파라미터로도 뛰어난 성능을 달성하여, 전체 BERT 미세조정 대비 메모리 효율성이 뛰어나고 하이퍼파rameter 조정에 덜 민감하다.
• SciBERT를 사용한 도메인 내 사전학습은 과학 데이터셋에서 성능 향상에 기여하며, 예를 들어 SciERC에서 +2.2 F1, GENIA에서 +1.1 F1의 성과를 기록함으로써 도메인 적응형 사전학습의 가치를 확인한다.