[논문 리뷰] Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

Guoshun Nan, Zhijiang Guo외 2명|arXiv (Cornell University)|2020. 05. 13.

Topic Modeling참고 문헌 63인용 수 28

한 줄 요약

이 논문은 문서 수준 관계 추출을 위한 잠재 구조 보정(Latent Structure Refinement, LSR) 모델을 제안한다. 이 모델은 엔드 투 엔드 방식으로 작업에 특화된 문서 수준 그래프를 반복적 보정을 통해 동적으로 학습하여 다단계 추론 성능을 향상시킨다. 모델은 DocRED 데이터셋에서 F1 점수 59.05를 기록하며, CDR 및 GDA 데이터셋에서도 새로운 최고 성능(SOTA)을 달성하여 학습된 잠재 구조를 통해 비국소적 의존성을 효과적으로 포착한다.

ABSTRACT

Document-level relation extraction requires integrating information within and across multiple sentences of a document and capturing complex interactions between inter-sentence entities. However, effective aggregation of relevant information in the document remains a challenging research question. Existing approaches construct static document-level graphs based on syntactic trees, co-references or heuristics from the unstructured text to model the dependencies. Unlike previous methods that may not be able to capture rich non-local interactions for inference, we propose a novel model that empowers the relational reasoning across sentences by automatically inducing the latent document-level graph. We further develop a refinement strategy, which enables the model to incrementally aggregate relevant information for multi-hop reasoning. Specifically, our model achieves an F1 score of 59.05 on a large-scale document-level dataset (DocRED), significantly improving over the previous results, and also yields new state-of-the-art results on the CDR and GDA dataset. Furthermore, extensive analyses show that the model is able to discover more accurate inter-sentence relations.

연구 동기 및 목표

• 문서 수준 관계 추출에서 복잡한 다단계 추론이 요구되는 여러 문장 간의 정보 통합 문제를 해결하기 위해.
• 기존 방법들이 정적, 규칙 기반 또는 히우리스틱으로 구성된 문서 수준 그래프에 의존함으로써 최적의 구조적 의존성을 포착하지 못할 수 있는 한계를 극복하기 위해.
• 비국소적 상호작용을 반영하는 엔티티 간의 동적, 엔드 투 엔드 학습을 통해 문서 수준 그래프 구조를 동적으로 학습함으로써 관계 추론 성능을 향상시키기 위해.
• 추론 과정에서 잠재 구조를 반복적으로 보정하여 장거리 의존성에 걸친 정보 집합을 향상시키기 위해.

제안 방법

• 모델은 평균 풀링을 통해 언급의 컨텍스트 기반 표현, 메타 의존 경로, 엔티티 노드를 생성하는 노드 생성기(node constructor)를 사용한다.
• 행렬-나무 정리의 변종을 활용한 구조적 어텐션을 적용하여 작업에 특화된 의존 구조를 잠재 변수로 유도한다.
• 반복적 보정 전략을 통해 다단계 추론 과정에서 잠재 그래프 구조를 동적으로 업데이트하여 점진적인 정보 집합을 가능하게 한다.
• 동적 추론기(dynamic reasoner)는 유도된 그래프를 기반으로 메시지 전파를 수행하여 엔티티 및 문장 간 표현을 전파한다.
• 분류기 헤드는 동적 추론기에서 얻은 보정된 표현을 기반으로 엔티티 쌍 간의 관계를 예측한다.
• 관계 예측 정확도를 최적화하기 위한 미분 가능한 목적함수를 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 잠재적이고 엔드 투 엔드로 학습된 문서 수준 그래프가 정적이고 히우리스틱으로 구성된 그래프보다 문서 수준 관계 추출에서 더 우수한 성능을 보일 수 있는가?
• RQ2 잠재 그래프 구조의 반복적 보정이 장거리 의존성에서 다단계 추론 성능을 향상시키는가?
• RQ3 외부 파서나 공명 해결 기법에 의존하지 않고도 더 정확한 문장 간 관계를 발견할 수 있는가?
• RQ4 기존의 GNN 기반 또는 규칙 기반 접근법과 비교해 볼 때 모델이 비국소적 의존성을 얼마나 잘 유도하는가?

주요 결과

• LSR 모델은 대규모 DocRED 데이터셋에서 F1 점수 59.05를 기록하며 이전 최고 성능 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• CDR 및 GDA 데이터셋에서도 새로운 최고 성능 결과를 달성하여 생물의학 분야 문서 수준 관계 추출 벤치마크에서 강력한 일반화 능력을 입증했다.
• 정성 분석 결과 LSR는 다단계 추론이 필요한 누락된 관계를 성공적으로 추론함을 확인했으며, 예를 들어 유타리아 티모셴코가 우크라이나인임을 중간 엔티티를 통해 파악하는 데 성공했다.
• 어텐션 시각화 결과 LSR는 AGGCN에 비해 더 집중적이고 정보량이 많은 어텐션 패턴을 학습한 것으로 나타났다. 반면 AGGCN는 더 균형 잡히고 구분력이 떨어지는 어텐션 점수를 보였다.
• 모델는 잘못된 관계를 억제하는 데서도 향상된 능력을 보였으며, 예를 들어 <뉴아일랜드, 제2차 세계대전> 엔티티 쌍에 대해 잘못된 양성 결과를 유발하는 것을 방지했다.
• 제거 실험(ablation studies) 결과 반복적 보정 메커니즘이 복잡한 추론 시나리오에서 성능 향상에 크게 기여하는 것으로 확인되었다.