[논문 리뷰] Global-to-Local Neural Networks for Document-Level Relation Extraction

Difeng Wang, Wei Hu외 2명|arXiv (Cornell University)|2020. 09. 22.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

이 논문은 R-GCN를 통해 이질적 그래프에서 엔티티의 전반적 표현을 통합하고, 다중헤드 어텐션을 통해 엔티티 멘션의 국소적 표현을 통합하며, 다른 관계들에 대한 자기어텐션을 통해 맥락 관계 표현을 통합하는 글로벌-로컬 신경망인 GLRE를 제안한다. 이 모델은 특히 장거리 관계와 다중 멘션 관계에서 최신 기술 수준의 성능을 달성하여 CDR 및 DocRED 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Relation extraction (RE) aims to identify the semantic relations between named entities in text. Recent years have witnessed it raised to the document level, which requires complex reasoning with entities and mentions throughout an entire document. In this paper, we propose a novel model to document-level RE, by encoding the document information in terms of entity global and local representations as well as context relation representations. Entity global representations model the semantic information of all entities in the document, entity local representations aggregate the contextual information of multiple mentions of specific entities, and context relation representations encode the topic information of other relations. Experimental results demonstrate that our model achieves superior performance on two public datasets for document-level RE. It is particularly effective in extracting relations between entities of long distance and having multiple mentions.

연구 동기 및 목표

• 장거리 및 다중 멘션에 걸쳐 복잡한 추론을 처리하는 데에 한계가 있는 기존 문서 수준 관계 추출 모델의 문제점을 해결하기 위해.
• 전체 문서 의미, 세밀한 엔티티 맥락, 주제 수준의 관계 맥락을 동시에 모델링하여 관계 추출 성능을 향상시키기 위해.
• 이전의 그래프 기반 모델에서 모든 문서 정보를 무분별하게 통합함으로써 발생하는 노이즈 문제를 해결하기 위해.
• 粗역할 및 세밀한 엔티티 표현을 통합하고 맥락 기반 관계 신호를 융합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 모델은 문서 내 멘션, 엔티티, 문장을 연결하기 위해 히우리스틱 규칙을 사용하여 이질적 그래프를 구축한다.
• 이질적 그래프 상에서 R-GCN를 통해 엔티티의 전반적 표현을 학습하여 문서 전체의 의미적 상호작용을 포착한다.
• 동일한 엔티티의 여러 멘션에 대해 다중헤드 어텐션을 적용하여 국소적 표현을 생성함으로써 맥락 정보를 집계한다.
• 모든 다른 관계들에 대한 자기어텐션을 통해 맥락 관계 표현을 모델링하여 주제 수준의 맥락을 인코딩한다.
• 분류 헤드를 통해 전반적, 국소적, 맥락 관계 표현을 융합하여 최종 관계 예측을 수행한다.
• 모델은 초기 토큰 표현을 위해 사전학습된 BERT를 활용하고, CDR 및 DocRED 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 글로벌-로컬 표현 학습 프레임워크는 특히 장거리 및 다중 멘션 관계에서 문서 수준 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 이질적 그래프 상에서 R-GCN가 엔티티 및 문장 간의 복잡한 의미적 상호작용을 얼마나 잘 모델링할 수 있는가?
• RQ3 자기어텐션을 통해 맥락 관계 표현을 통합할 경우 관계 예측 정확도가 얼마나 향상되는가?
• RQ4 전반적 및 국소적 엔티티 표현을 융합하는 방식은 단일 수준의 표현만을 사용하는 모델보다 얼마나 우수한가?
• RQ5 사전학습된 언어 모델(예: BERT, XLNet)은 제안된 GLRE 프레임워크의 성능에 어떤 영향을 미치는가?

주요 결과

• GLRE는 CDR 및 DocRED 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, BERT-Base를 사용할 경우 CDR에서 F1 스코어 68.5, DocRED에서 58.9를 기록하였다.
• DocRED 데이터셋에서 XLNet-Large를 사용하면 'train + dev' 설정에서 Ign F1과 F1 스코어가 각각 58.5와 60.5로 향상되었다.
• 장거리 스파이크를 가진 엔티티 간의 관계 추출에서 특히 뛰어난 성능을 보였으며, 이는 이전 모델들을 능가하는 결과를 보였다.
• 오류 분석 결과, 실패 원인의 40.9%가 다리 역할을 하는 엔티티를 포함한 논리적 추론 오류였으며, 복잡한 추론 능력 향상 여지가 있음을 시사했다.
• 성분 누락 오류(28.8%)와 공호소 추론 오류(12.9%)도 뚜렷하게 나타나, 불완전하거나 모호한 문장 구조로 인한 도전 과제를 반영했다.
• 사례 3에서 외부 지식이 부족함에도 불구하고 정확한 아키텍처를 구현한 점을 고려할 때, 모델의 성능은 사전 지식에 민감하게 영향을 받는 것으로 나타났다.