[논문 리뷰] Entity and Evidence Guided Relation Extraction for DocRED

Kevin Huang, Guangtao Wang외 2명|arXiv (Cornell University)|2020. 08. 27.

Topic Modeling참고 문헌 30인용 수 8

한 줄 요약

이 논문은 문서 수준 관계 추출을 위한 통합 프레임워크인 E2GRE를 제안한다. E2GRE는 사전 훈련된 언어 모델(예: BERT)을 엔티티 가이드드 입력 시퀀스와 주의 기반 증거 감시를 통해 향상시킨다. 각 엔티티를 문서 끝에 추가하고 내부 주의 확률을 활용하여 증거 예측을 수행함으로써, E2GRE는 관계 추출과 증거 문장 국소화 모두를 향상시키며, DocRED 벤치마크에서 모든 지표에서 최고 성능을 기록한다.

ABSTRACT

Document-level relation extraction is a challenging task which requires reasoning over multiple sentences in order to predict relations in a document. In this paper, we pro-pose a joint training frameworkE2GRE(Entity and Evidence Guided Relation Extraction)for this task. First, we introduce entity-guided sequences as inputs to a pre-trained language model (e.g. BERT, RoBERTa). These entity-guided sequences help a pre-trained language model (LM) to focus on areas of the document related to the entity. Secondly, we guide the fine-tuning of the pre-trained language model by using its internal attention probabilities as additional features for evidence prediction.Our new approach encourages the pre-trained language model to focus on the entities and supporting/evidence sentences. We evaluate our E2GRE approach on DocRED, a recently released large-scale dataset for relation extraction. Our approach is able to achieve state-of-the-art results on the public leaderboard across all metrics, showing that our E2GRE is both effective and synergistic on relation extraction and evidence prediction.

연구 동기 및 목표

• 관계가 여러 문장에 걸쳐 흩어져 있어 장거리 추론이 필요한 문서 수준 관계 추출의 과제를 해결하기 위해.
• 장문의 문서에서 일관된 주의를 가지는 것 때문에 사전 훈련된 언어 모델(PLM)이 관련 엔티티와 증거 문장에 집중하기 어려운 한계를 극복하기 위해.
• 엔티티 및 주의 기반 감시를 통한 공동 훈련을 통해 관계 추출 및 증거 예측 성능을 향상시키기 위해.
• 관계 추출의 설명 가능성을 높이기 위해 지원 증거 문장을 명시적으로 식별할 수 있도록 하기 위해.

제안 방법

• 각 문서에 대해, 각 명시적 엔티티를 문서의 시작 부분에 연결하여 총 N_e개의 엔티티 가이드드 입력 시퀀스를 생성함으로써, PLM이 피팅 훈련 중에 엔티티 기반 컨텍스트에 집중할 수 있도록 한다.
• BERT의 마지막 l층에서 추출한 내부 주의 확률을 증거 예측을 위한 추가 특징으로 사용하여, 모델이 관련된 지원 문장을 보다 정확히 식별할 수 있는 능력을 향상시킨다.
• 엔티티 가이드드 시퀀스와 주의 기반 특징을 사용하여 관계 추출 및 증거 예측을 위한 공동 모델을 훈련함으로써 다중 작업 학습을 가능하게 한다.
• 주의 메커니즘을 활용하여 헤드 및 테일 엔티티뿐 아니라, 문장 간 관계 정보를 연결하는 다리 역할을 하는 어휘적 표현(예: 브리지 포지션)과 증거 문장을 강조한다.
• 관계 예측과 증거 문장 식별을 균형 있게 고려하는 공동 목표를 최적화하여 모델을 종합적으로 최적화한다.
• 엔티티 가이드드 및 주의 기반 증거 감시의 기여도를 분석하고, 주의 특징을 추출하기 위해 사용하는 BERT 레이어 수의 영향을 평가하기 위해 추상화 실험을 실시한다.

실험 결과

연구 질문

• RQ1 엔티티 가이드드 입력 시퀀스는 관련 엔티티에 집중하도록 주의를 유도함으로써 사전 훈련된 언어 모델의 문서 수준 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 BERT 레이어의 내부 주의 확률을 감시 신호로 사용하면 증거 문장 예측 성능이 향상되고, 그로 인해 관계 추출 성능도 향상되는가?
• RQ3 관계 추출과 증거 예측의 공동 훈련이 문서 수준 RE에서의 전체 모델 성능에 어떤 영향을 미치는가?
• RQ4 증거 예측을 위한 주의 기반 특징을 추출하기 위해 최적의 BERT 레이어 수는 얼마인가?
• RQ5 E2GRE는 지원 증거 문장을 식별함으로써 얼마나 높은 수준의 설명 가능성을 향상시키는가?

주요 결과

• E2GRE는 DocRED 검증 세트에서 관계 추출 F1 스코어 58.72%를 기록하여, BERT+공동 훈련 베이스라인 대비 4.18%p 향상되었다.
• 엔티티 가이드드 구성 요소만으로도 기준 대비 F1이 2.5%p 향상되어, 모델이 관련 엔티티에 집중하도록 유도하는 데 효과적임을 입증했다.
• 증거 가이드드 훈련을 추가로 적용하면 F1이 추가로 1.7%p 향상되어, 주의 기반 감시가 증거 예측과 관계 추출 모두에 기여함을 보여주었다.
• 증거 예측 F1은 기준값 42.49%에서 E2GRE를 사용할 경우 47.14%로 상승하여, 정확한 지원 문장을 식별함으로써 설명 가능성이 향상됨을 나타냈다.
• 6개 레이어의 주의 확률을 사용할 경우 F1=46.90으로 3개 레이어(F1=47.12)보다 略로 높은 성능를 보였지만, 성능 향상은 미미하여 중간 레이어가 가장 정보가 풍부할 수 있음을 시사했다.
• 시각화 결과는 E2GRE가 증거 문장과 브리지 어휘(예: 'protagonist', 'involves')에 더 높은 주의 가중치를 할당함을 확인하였으며, 이는 문장 간 엔티티 간 연결을 효과적으로 포착하고 있음을 의미한다.