[논문 리뷰] Entity-centered Cross-document Relation Extraction

Fengqi Wang, Fei Li외 7명|arXiv (Cornell University)|2022. 10. 29.

Natural Language Processing Techniques인용 수 25

한 줄 요약

이 논문은 ECRIM을 도입하여 크로스-문서 관계 추출을 위한 엔티티 기반 문서 컨텍스트 필터링 및 교차 경로 엔티티 관계 주의 메커니즘을 제시하며 CodRED에서 테스트 세트 기준 F1 62.48, AUC 60.67로 최첨단 성능을 달성한다.

ABSTRACT

Relation Extraction (RE) is a fundamental task of information extraction, which has attracted a large amount of research attention. Previous studies focus on extracting the relations within a sentence or document, while currently researchers begin to explore cross-document RE. However, current cross-document RE methods directly utilize text snippets surrounding target entities in multiple given documents, which brings considerable noisy and non-relevant sentences. Moreover, they utilize all the text paths in a document bag in a coarse-grained way, without considering the connections between these text paths.In this paper, we aim to address both of these shortages and push the state-of-the-art for cross-document RE. First, we focus on input construction for our RE model and propose an entity-based document-context filter to retain useful information in the given documents by using the bridge entities in the text paths. Second, we propose a cross-document RE model based on cross-path entity relation attention, which allow the entity relations across text paths to interact with each other. We compare our cross-document RE method with the state-of-the-art methods in the dataset CodRED. Our method outperforms them by at least 10% in F1, thus demonstrating its effectiveness.

연구 동기 및 목표

• Existing 방법의 노이즈와 경로 연결 문제를 해결하여 크로스-문서 관계 추출의 성능 개선을 동기화한다.
• 입력 구성 방법을 제안하여 다리 엔티티를 강조하고 유용한 컨텍스트를 보존한다.
• 교차 경로 주의 메커니즘을 개발하여 텍스트 경로 간 의존성을 포착하고 더 나은 추론을 보장한다.

제안 방법

• Bridge-엔티티 점수와 의미론적 문장 순서를 활용하여 salient 문장을 선택하는 엔티티 기반 문서 컨텍스트 필터를 사용한다.
• 토큰 및 엔티티 표현을 얻기 위한 BERT 기반 인코더를 사용한다.
• 관계의 Bag 수준 관계 행렬과 Transformer를 이용하여 서로 다른 텍스트 경로 간의 관계 간 상호 작용을 모델링하는 교차 경로 엔티 엔티 관계 주의.
• 클래시파이어가 경로 수준 표현을 모아 배그 수준 관계 예측을 산출한다.
• 다중 라벨 전역 임계값 손실을 사용하여 다중 관계가 유효한 배그를 처리한다.

실험 결과

연구 질문

• RQ1 Bridge 엔티티를 어떻게 활용하여 RE를 위한 크로스-문서 입력을 필터링하고 순서를 정할 수 있는가?
• RQ2 텍스트 경로 간의 관계 간 의존성을 모델링하면 크로스-문서 RE 성능이 향상되는가?
• RQ3 입력 구성과 교차 경로 주의가 CodRED 성능에 어떤 영향을 주는가?
• RQ4 다중 라벨 CodRE를 위한 배그 수준 임계값 학습 목표가 효과적인가?

주요 결과

F1	AUC	P@500	P@1000
Pipeline (Yao et al. 2021)	30.54	17.45	30.60	26.70
End-to-end (Yao et al. 2021)	61.12	60.91	78.89	60.17
ECRIM (ours)	61.12	60.91	78.89	60.17

• ECRIM은 CodRED에서 개발 세트 및 테스트 세트 모두에서 베이스라인보다 우수한 성능을 보이며(F1 약 61.12–62.48, AUC 약 60.91–60.67).
• 입력 구성 모듈を 통해 Bridge 엔티티를 도입하는 것이 베이스라인 입력 전략 대비 성능을 크게 향상시킨다.
• 교차 경로 엔티 엔티 관계 주의는 서로 다른 텍스트 경로 간의 관계 간 상호 작용을 가능하게 하여 상당한 이득을 준다.
• 제거 실험은 입력 구성, Bridge 엔티티, 교차 경로 주의 또는 임계값 손실 중 하나라도 제거하면 성능이 저하된다는 것을 보여준다.
• 모델은 다수의 Bridge 엔티티 및 경로 수의 변화에 대해 강건하며, 중간 수준의 연결 정보와 경로 수에서 최상의 성능을 보인다.