[논문 리뷰] Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction

Benfeng Xu, Quan Wang외 3명|arXiv (Cornell University)|2021. 02. 20.

Topic Modeling참고 문헌 30인용 수 9

한 줄 요약

이 논문은 구조적 편향을 자기주의 어텐션 메커니즘에 통합하여 트랜스포저 인코더 내부 및 전반에 걸쳐 엔티티 언급 간 의존성(핵심참조, 공존 등)을 모델링하는 구조적 자기주의 네트워크인 SSAN을 제안한다. 문맥과 구조적 추론을 동시에 최적화함으로써 DocRED, CDR, GDA 세 가지 문서 수준 관계 추출 데이터셋에서 최신 기준 성능(SOTA)을 달성하며, 적응형 어텐션 정규화를 통해 기존 방법들을 크게 앞서며 뛰어난 성능을 발휘한다.

ABSTRACT

Entities, as the essential elements in relation extraction tasks, exhibit certain structure. In this work, we formulate such structure as distinctive dependencies between mention pairs. We then propose SSAN, which incorporates these structural dependencies within the standard self-attention mechanism and throughout the overall encoding stage. Specifically, we design two alternative transformation modules inside each self-attention building block to produce attentive biases so as to adaptively regularize its attention flow. Our experiments demonstrate the usefulness of the proposed entity structure and the effectiveness of SSAN. It significantly outperforms competitive baselines, achieving new state-of-the-art results on three popular document-level relation extraction datasets. We further provide ablation and visualization to show how the entity structure guides the model for better relation extraction. Our code is publicly available.

연구 동기 및 목표

• 문서 수준 관계 추출을 위한 통합 프레임워크로 다양하고 복잡한 언급 의존성(핵심참조, 공존, 간접 연결 등)을 체계적으로 정의하는 것.
• 기존 방법들이 엔티티 구조를 후처리 특징 또는 별도의 그래프 네트워크로 다루는 데서 비롯하는 한계를 해결하기 위해, 구조적 추론을 직접적으로 어텐션 메커니즘에 통합하는 것.
• 전체 인코딩 과정 전반에 걸쳐 문맥과 구조적 추론을 동시에 상호작용하게 하여 관계 추출 성능을 향상시키는 것.
• 핵심참조를 초월한 모든 종류의 트랜스포저 기반 모델에 적용 가능한 일반화된 방법을 개발하는 것.

제안 방법

• 핵심참조, 공존, 공유 참조를 통한 간접 연결을 포함한 언급 의존성의 집합으로 엔티티 구조를 수학적으로 정의한다.
• 각 자기주의 어텐션 블록 내부에 구조적 사전 지식에 기반한 어텐션 흐름을 정규화하는 데 사용되는 두 가지 변환 모듈을 설계한다.
• 구조적 가이던스를 직접 자기주의 어텐션 메커니즘에 통합함으로써, 모든 레이어에서 문맥과 구조적 추론이 상호작용하고 동시에 이루어지도록 한다.
• 표준 트랜스포저 인코더 내부에 구조적 자기주의 어텐션 메커니즘을 적용하여, 표준 다중헤드 어텐션을 SSAN 블록으로 대체한다.
• 관계 추출 데이터셋에서 엔드 투 엔드 훈련을 통해 최종적으로 생성된 문맥적 표현을 사용하여 문서 수준 관계 분류를 수행한다.
• 구조적 편향을 도입함으로써 아키텍처 변경 없이 다양한 사전학습 모델에 본 방법을 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 핵심참조를 초월한 엔티티 언급 의존성(예: 공존, 간접 연결 등)을 문서 수준 관계 추출에서 구조적 사전 지식으로 체계적으로 정의할 수 있는가?
• RQ2 구조적 의존성을 별도의 그래프 네트워크나 후처리 특징이 아닌 자기주의 어텐션 메커니즘 내부에서 효과적으로 모델링할 수 있는가?
• RQ3 전체 인코딩 과정 전반에 걸쳐 구조적 추론을 통합할 경우, 고립형 또는 후기 융합 기법에 비해 관계 추출 성능 향상이 이루어지는가?
• RQ4 제안된 SSAN 모델이 다양한 문서 수준 관계 추출 벤치마크에서 기존 방법들에 비해 어느 정도 뛰어난 성능을 발휘하는가?

주요 결과

• SSAN은 DocRED, CDR, GDA 세 가지 문서 수준 관계 추출 데이터셋에서 새로운 최신 기준 성능(SOTA)을 달성하며, 경쟁 기준 모델들에 비해 일관되고 뚜렷한 성능 향상을 보였다.
• 핵심참조를 추가 특징으로 사용하거나 그래프 기반 정제를 적용하는 기존 방법들보다 뚜렷한 성능 우위를 보이며, 종합적인 구조적 통합의 이점을 입증했다.
• 제거 실험 결과에서 구조적 의존성을 통합할 경우 성능 향상이 발생하며, 특히 공유 참조를 통한 간접 연결을 모델링할 때 가장 두드러진 성능 향상이 관찰되었다.
• 시각화 결과에서 SSAN 어텐션은 핵심참조 사슬과 같은 관련 언급과 구조적 경로에 더 집중하는 경향을 보이며, 엔티티 구조에 의해 효과적으로 안내된다는 것을 확인했다.
• 본 방법은 도메인 간 일반화 능력이 뛰어나 일반 도메인 (DocRED)과 생물의학 도메인 (CDR, GDA) 데이터셋 모두에서 뛰어난 성능을 발휘했다.
• 제안된 구조적 편향 모듈이 어텐션 흐름을 효과적으로 정규화하여 더 일관되고 문맥에 기반한 표현을 생성했다.