[논문 리뷰] SIRE: Separate Intra- and Inter-sentential Reasoning for Document-level Relation Extraction

Shuang Zeng, Yuting Wu외 1명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 27인용 수 8

한 줄 요약

SIRE는 문단 수준 관계 추출 프레임워크를 제안하며, 문장 내 및 문장 간 관계를 별도의 인코딩 전략을 사용해 별도로 모델링한다. 자기 어텐션 기반 논리적 추론 모듈을 도입하여 가능한 모든 추론 체인을 포괄적으로 포착하며, 공개 벤치마크에서 최고 성능을 기록하며 해석 가능성과 논리적 추론 작업에 대한 강건성도 향상시킨다.

ABSTRACT

Document-level relation extraction has attracted much attention in recent years. It is usually formulated as a classification problem that predicts relations for all entity pairs in the document. However, previous works indiscriminately represent intra- and inter-sentential relations in the same way, confounding the different patterns for predicting them. Besides, they create a document graph and use paths between entities on the graph as clues for logical reasoning. However, not all entity pairs can be connected with a path and have the correct logical reasoning paths in their graph. Thus many cases of logical reasoning cannot be covered. This paper proposes an effective architecture, SIRE, to represent intra- and inter-sentential relations in different ways. We design a new and straightforward form of logical reasoning module that can cover more logical reasoning chains. Experiments on the public datasets show SIRE outperforms the previous state-of-the-art methods. Further analysis shows that our predictions are reliable and explainable. Our code is available at https://github.com/DreamInvoker/SIRE.

연구 동기 및 목표

• 기존 모델이 문장 내 및 문장 간 관계를 동일한 인코딩 전략으로 다루지만, 언어 패턴이 다르므로 이로 인한 한계를 해결하기 위해.
• 경로 기반 그래프 방법이 실용적 경로가 없는 경우 추론 커버리지 격차를 발생시키므로 이를 해결하기 위해.
• 문서 내 가능한 모든 논리적 추론 체인을 모델링할 수 있는 더 일반적이고 해석 가능한 추론 메커니즘을 설계하기 위해.
• 선택적 증거 어텐션과 추론 체인 모델링을 통해 문서 수준 관계 추출 예측의 신뢰성과 해석 가능성 향상시키기 위해.

제안 방법

• SIRE는 엔티티 쌍의 공존 문장들에서 표현을 집계함으로써 문장 수준 인코더를 사용해 문장 내 관계를 표현한다.
• 문장 간 관계의 경우, 문장 간 장거리 의존성과 상호작용을 모델링하기 위해 문서 수준 인코더와 멘션 수준 그래프를 결합한다.
• 증거 선택기 모듈을 도입하여 문장 간 관계가 관련된 지원 문장에 집중하도록 돕고, 사실적 맥락에 대한 어텐션을 향상시킨다.
• 자신의 어텐션을 모든 관계 표현에 적용하는 새로운 논리적 추론 모듈을 사용하여 추론 체인을 모델링하며, 가능한 모든 논리적 추론을 포괄할 수 있도록 한다.
• 관계 분류 및 추론을 동시에 최적화하며, 핵심 증거와 추론 경로를 강조하는 어텐션 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 문장 내 및 문장 간 관계 모델링을 분리함으로써 문서 수준 관계 추출 성능 향상이 가능한가?
• RQ2 모든 가능한 추론 체인을 고려하는 자기 어텐션 기반 추론 모듈이 그래프 구조 모델의 경로 기반 추론보다 우월한가?
• RQ3 지원 증거와 추론 경로를 강조함으로써 더 나은 해석 가능성 달성 가능할까?
• RQ4 이전 최고 성능 모델들과 비교해 이중 경로 논리적 추론 작업에서 모델의 성능은 어떠한가?
• RQ5 특히 복잡한 추론 케이스에서 논리적 추론 모듈이 전체 성능에 얼마나 기여하는가?

주요 결과

• SIRE는 세 개의 공개 문서 수준 관계 추출 데이터셋에서 최고 성능을 기록하며 이전 최고 성능 모델들을 능가한다.
• DocRED 개발 세트에서 SIRE-GloVe는 Infer-F1 점수 42.72를 기록하여 이전 최고 성능 모델보다 1.89점 높게 기록했다.
• 논리적 추론 모듈을 제거하면 Infer-F1 점수가 42.72에서 39.18로 크게 하락하여 이 모듈이 추론 작업에서 핵심적인 역할을 한다는 점을 확인했다.
• 사례 연구 결과, SIRE는 지원 증거 문장을 정확히 식별하고, 예를 들어 São Paulo → Brazil → South America와 같은 올바른 논리적 추론 체인에 집중하는 것으로 나타났다.
• 모델의 예측은 설명 가능하며, 어텐션 메커니즘이 인간의 직관과 일치하는 관련 단어와 증거 문장을 강조한다.