[논문 리뷰] Document-Level Relation Extraction with Reconstruction

Xu Wang, Kehai Chen외 1명|arXiv (Cornell University)|2020. 12. 21.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 이질적 그래프 내에서 진정한 경로 종속성을 재구성하도록 재구성기(reconstructor)를 훈련시켜, 모델의 주의를 관련 엔티티 쌍에 집중시키는 복원 기반 방법을 제안한다. 이 방법은 강력한 베이스라인 대비 F1 점수를 1.7 포인트 향상시키며, 추론 과정에서 재구성기를 관계 지표로 활용하여 성능을 향상시킨다.

ABSTRACT

In document-level relation extraction (DocRE), graph structure is generally used to encode relation information in the input document to classify the relation category between each entity pair, and has greatly advanced the DocRE task over the past several years. However, the learned graph representation universally models relation information between all entity pairs regardless of whether there are relationships between these entity pairs. Thus, those entity pairs without relationships disperse the attention of the encoder-classifier DocRE for ones with relationships, which may further hind the improvement of DocRE. To alleviate this issue, we propose a novel encoder-classifier-reconstructor model for DocRE. The reconstructor manages to reconstruct the ground-truth path dependencies from the graph representation, to ensure that the proposed DocRE model pays more attention to encode entity pairs with relationships in the training. Furthermore, the reconstructor is regarded as a relationship indicator to assist relation classification in the inference, which can further improve the performance of DocRE model. Experimental results on a large-scale DocRE dataset show that the proposed model can significantly improve the accuracy of relation extraction on a strong heterogeneous graph-based baseline.

연구 동기 및 목표

• 모든 엔티티 쌍에 대해 관계를 일괄적으로 인코딩하는 그래프 표현 방식이 진짜 관계에서의 주의를 약화시킨다는 문제를 해결하기 위해.
• 그래프 표현 내에서 진짜 경로 종속성을 재구성하도록 재구성기를 훈련시켜 모델 학습을 향상시키기 위해.
• 추론 과정에서 재구성기를 관계 지표로 사용하여 관계 분류 정확도를 추가로 향상시키기 위해.
• 진짜 경로 종속성에 집중할 경우 문서 수준 관계 추출에서 더 나은 일반화와 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 입력 문서에서 히우리스틱 규칙을 사용해 이질적 그래프를 구성하며, 노드는 언급, 엔티티, 문장이며, 다섯 종류의 간선을 포함한다.
• 그래프 주의망(GAT)이 이질적 그래프를 인코딩하여 엔티티 쌍 간의 관계 정보를 모델링하는 그래프 표현을 생성한다.
• 재구성기는 엔티티 쌍 간 경로를 따라 노드 표현을 생성하며, 진짜 관계가 존재할 경우 경로 확률을 최대화하고, 그렇지 않을 경우 최소화한다.
• 재구성기는 DocRE 모델과 함께 엔드 투 엔드로 훈련되어, 훈련 중에 실제 관계가 있는 엔티티 쌍에 주의를 집중시키도록 이끌어낸다.
• 추론 과정에서는 재구성기의 경로 점수가 관계 분류 결정을 보완하는 추가 신호로 사용된다.
• 강력한 이질적 그래프 기반 베이스라인을 사용해 대규모 DocRED 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 문서 수준 관계 추출 모델에서 진짜 경로 종속성을 재구성하는 것이 관련 엔티티 쌍에 대한 주의를 향상시키는가?
• RQ2 훈련을 이끄는 데 재구성기를 사용할 경우 문서 수준 관계 분류 성능이 향상되는가?
• RQ3 추론 과정에서 재구성기가 효과적인 관계 지표로 기능할 수 있는가?
• RQ4 다양한 메타패스(MP1, MP2, MP3 등)를 재구성할 경우 성능에 어떤 영향을 미치는가?
• RQ5 단일 경로 대비 다중 메타패스 재구성을 할 경우 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 대규모 DocRED 데이터셋에서 강력한 이질적 그래프 기반 베이스라인 대비 F1 점수를 1.7 포인트 향상시켰다.
• 모든 세 개의 메타패스(MP1, MP2, MP3)를 재구성할 경우 개발 세트에서 F1 점수 55.66, 테스트 세트에서 54.91을 기록했다.
• 제거 실험에서 다중 메타패스 재구성을 단일 경로 재구성보다 우수한 성능을 내며, 특히 MP3(Entity-Mention-Sentence-Entity)가 가장 기여도가 높았다(전체 경로의 54.46%).
• 사례 연구에서 +Reconstruction 모델은 베이스라인 모델이 잘못 분류한 사례를 수정했으며, 예를 들어 {Lark Force, Australia}에 대해 'P17' 관계를 정확히 분류했다.
• 재구성기의 경로 점수를 고려함으로써 모호한 예측을 해결하여, 예를 들어 {Rabaul, Australia}에 대해 'NA'를 정확히 분류하는 데 기여했다.
• 최근의 최고 성능 모델인 LSR 모델을 능가하며, 복원 기반 훈련 전략의 효과성을 확인했다.