[논문 리뷰] Coarse-to-Fine Entity Representations for Document-level Relation Extraction

Damai Dai, Jing Ren외 3명|arXiv (Cornell University)|2020. 12. 04.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 문서 수준 관계 추출을 위한 Coarse-to-Fine Entity Representation(CFER) 모델을 제안한다. 이 모델은 먼저 Densely Connected Graph Convolutional Networks(DCGCN)를 통해 전반적인 문맥 정보를 캡처하고, 이후 attention-guided path encoding을 사용하여 장거리 엔티티 간 상호작용을 모델링한다. 이 방법은 DocRED 및 CDR에서 최신 기술 수준의 성능을 달성하며, 레이블 불균형에 대해 강건하고 문장 간 관계를 우수하게 모델링한다.

ABSTRACT

Document-level Relation Extraction (RE) requires extracting relations expressed within and across sentences. Recent works show that graph-based methods, usually constructing a document-level graph that captures document-aware interactions, can obtain useful entity representations thus helping tackle document-level RE. These methods either focus more on the entire graph, or pay more attention to a part of the graph, e.g., paths between the target entity pair. However, we find that document-level RE may benefit from focusing on both of them simultaneously. Therefore, to obtain more comprehensive entity representations, we propose the Coarse-to-Fine Entity Representation model (CFER) that adopts a coarse-to-fine strategy involving two phases. First, CFER uses graph neural networks to integrate global information in the entire graph at a coarse level. Next, CFER utilizes the global information as a guidance to selectively aggregate path information between the target entity pair at a fine level. In classification, we combine the entity representations from both two levels into more comprehensive representations for relation extraction. Experimental results on two document-level RE datasets, DocRED and CDR, show that CFER outperforms existing models and is robust to the uneven label distribution.

연구 동기 및 목표

• 기존의 그래프 기반 모델이 문서 수준 관계 추출에서 전역적 구조에 과도하게 초점을 맞추거나 국소적 경로에 치중하는 등의 한계를 해결하기 위해.
• 문서 내 목표 엔티티 간의 장거리 상호작용을 동시에 전역적 문맥 정보를 캡처함으로써 모델링하기 위해.
• 복잡한 문장 간 관계를 포함한 장문에서의 관계 추출 성능을 향상시키기 위해.
• 특히 장꼬리 관계에 대해 레이블 분포의 불균형에 강건한 성능을 발휘하기 위해.
• 전역적 및 세밀한 경로 수준 표현을 효과적으로 통합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 구문적 의존성, 인접 단어, 문장 간 연결, 공호성 링크, 자기 순환 등 다섯 가지 간선 유형을 갖는 문서 수준 그래프를 구축한다.
• 거시적 단계에서 Densely Connected Graph Convolutional Networks(DCGCN)를 적용하여 전체 그래프 전역의 문맥 정보를 집계한다.
• 미세한 단계에서 거시적 단계의 표현을 기반으로 한 attention 기반 경로 인코딩 메커니즘을 사용하여 목표 엔티티 쌍 간의 경로 정보를 선택적으로 집계한다.
• 거시적 단계의 전역 표현과 미세한 단계의 경로 인식 표현을 통합하여 관계 분류를 위한 종합적인 엔티티 임베딩을 생성한다.
• 관계 예측에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하며, 주목사의 가중치는 정보성 있는 경로에 집중하도록 학습된다.
• 최종 분류기 이전에 두 수준의 표현을 연결 또는 원소별 조합을 통해 통합한다.

실험 결과

연구 질문

• RQ1 전역 그래프 수준의 문맥 정보와 목표 지향적 경로 수준 정보를 통합하면 문서 수준 관계 추출 성능이 향상되는가?
• RQ2 단일 단계 접근 방식과 비교해 볼 때, 거시-미세 전략이 장거리 엔티티 간 상호작용을 더 잘 모델링하는가?
• RQ3 특히 장꼬리 관계에 대해 레이블 불균형 상황에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ4 거시적 단계 표현이 미세한 단계의 경로 집계를 효과적으로 안내하여 비최적의 주목사 분배를 방지하는가?
• RQ5 기존의 그래프 기반 및 비그래프 기반 베이스라인에 비해 표준 벤치마크에서 얼마나 뛰어난 성능을 발휘하는가?

주요 결과

• CFER는 DocRED의 개발 세트에서 F1 스코어 56.40을 기록하여, 모든 아블레이션 버전과 기존 모델들을 압도한다.
• 아블레이션 연구 결과, 거시적 단계의 DCGCN 블록을 제거하면 F1 점수가 2.08 포인트 감소함을 확인하여 그 중요성을 입증한다.
• 미세 수준 표현을 포함할 경우 마이크로-F1이 4.12 포인트 향상됨을 확인하여 장거리 관계를 포착하는 데 그 가치가 있음을 확인한다.
• 장꼬리 관계(거리 [8, ∞))에 대해 CFER는 마이크로-F1 61.5를 기록하며, 레이블 불균형에 대한 강건성을 보여준다.
• 케이스 스터디 결과, CFER(Full)은 여러 유용한 경로에 균형 잡힌 주목사 가중치를 학습하는 반면, 아블레이션 모델들은 전역적 가이던스 부족으로 비최적의 경로에 집중함을 확인한다.
• 모델은 P140 관계와 같이 문장 간 추론이 필요한 관계 사실을 성공적으로 추출하며, 이는 오직 전체 모델만이 복원할 수 있는 사례이다.