[논문 리뷰] Document-level Relation Extraction as Semantic Segmentation

Ningyu Zhang, Xiang Chen외 7명|arXiv (Cornell University)|2021. 06. 07.

Topic Modeling참고 문헌 38인용 수 12

한 줄 요약

이 논문은 문서 수준 관계 추출을 의미 분할 작업으로 재정의하는 DocuNet을 제안한다. 엔티티 쌍을 특성 맵의 픽셀로 간주함으로써, 엔티티 수준 관계 행렬 위에 U자형 분할 헤드를 적용하여 전역 상호의존성을 포착한다. 이로 인해 DocRED, CDR, GDA에서 최신 기술 성능을 달성하였으며, 이전 방법 대비 CDR에서 F1 점수 6.9% 향상되었다.

ABSTRACT

Document-level relation extraction aims to extract relations among multiple entity pairs from a document. Previously proposed graph-based or transformer-based models utilize the entities independently, regardless of global information among relational triples. This paper approaches the problem by predicting an entity-level relation matrix to capture local and global information, parallel to the semantic segmentation task in computer vision. Herein, we propose a Document U-shaped Network for document-level relation extraction. Specifically, we leverage an encoder module to capture the context information of entities and a U-shaped segmentation module over the image-style feature map to capture global interdependency among triples. Experimental results show that our approach can obtain state-of-the-art performance on three benchmark datasets DocRED, CDR, and GDA.

연구 동기 및 목표

• 기존 모델이 문서 수준 관계 추출에서 다중 관계 삼중항 간의 전역 상호의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 문장 수준 모델로는 해결할 수 없는 장거리 및 문장 간 관계의 성능 향상을 위해.
• 컴퓨터 비전에서 이미지 분할과 유사하게 문서 수준 RE를 의미 분할 작업으로 재형식화하는 새로운 접근법을 탐색하기 위해.
• 엔티티 쌍 간의 국소적 맥락과 전역적 관계 추론을 동시에 포착하는 모델을 설계하기 위해.

제안 방법

• 모델은 각 엔티티의 문맥 표현을 추출하기 위해 인코더 모듈을 사용한다.
• 쌍별 엔티티 표현에서 이미지 스타일의 특성 맵을 구성하며, 각 엔티티 쌍을 '픽셀'로 간주하여 분류 대상으로 삼는다.
• 이 특성 맵에 U자형 분할 헤드를 적용하여 관계 유형을 예측함으로써 삼중항 간의 장거리 의존성을 모델링할 수 있다.
• U자형 아키텍처는 스킵 연결을 활용하여 공간(엔티티 쌍) 해상도를 유지하고 특징 학습을 향상시킨다.
• 실제 데이터에서 관계 유형의 긴 꼬리 분포를 다루기 위해 균형 잡힌 소프트맥스 손실을 도입한다.
• 희귀 관계 탐지 향상을 위해 클래스 균형을 고려한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 문서 수준 관계 추출을 엔티티 쌍 특성 맵 상의 의미 분할 작업으로 효과적으로 재정의할 수 있는가?
• RQ2 관계 삼중항 간의 전역 상호의존성을 모델링함으로써 문서 수준 관계 추출 성능이 어떻게 향상되는가?
• RQ3 U자형 분할 아키텍처가 장거리 및 문장 간 엔티티 쌍 간의 관계 추론에 얼마나 기여하는가?
• RQ4 제안된 균형 잡힌 소프트맥스 손실이 관계 분류에서 클래스 불균형 문제를 얼마나 효과적으로 완화하는가?
• RQ5 간접 관계를 추론할 수 있는 능력으로 인해 모델이 암묵적인 관계 추론을 수행하는가?

주요 결과

• DocuNet은 DocRED, CDR, GDA 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하였으며, 이전 최고 성능 모델 ATLOP 대비 CDR에서 F1 점수 6.9% 향상되었다.
• 제거 실험 결과, U자형 분할 모듈을 제거할 경우 개발 F1 점수가 2.18% 하락하여, 이는 전역 의존성 포착에 있어 그 핵심적 역할을 함을 시사한다.
• 균형 잡힌 소프트맥스 손실을 제거할 경우 F1 점수가 1.32% 하락하여, 이는 긴 꼬리 관계 분포를 다루는 데 효과적임을 입증한다.
• 맥락 기반 특징 입력을 사용한 모델가 유사도 기반 변형 대비 0.84 F1 점수 높게 성능을 내어, 맥락 표현의 우수성을 확인한다.
• DocRED에서 U자형 분할을 갖춘 모델은 모든 엔티티 수 그룹에서 기준 모델을 일관되게 초월하며, 엔티티 수가 많을수록 성능 향상이 더 두드러진다.
• 사례 연구 결과, DocuNet은 간접 관계(예: 메릴랜드를 통해 엘더버그스가 미국 소속임을 추론)를 추론할 수 있어 암묵적 관계 추론 능력을 지닌 것으로 나타났다.