[논문 리뷰] Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

Wenxuan Zhou, Kevin Huang외 2명|arXiv (Cornell University)|2020. 10. 21.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 다중 엔티티 및 다중 레이블 도전 과제를 해결하기 위해 적응형 임계값과 국소화된 컨텍스트 풀링을 활용하는 새로운 문서 수준 관계 추출 모델인 ATLOP을 제안한다. 엔티티별로 다른 임계값을 학습하고 사전 훈련된 어텐션 헤드를 활용해 관련 컨텍스트에 집중함으로써 ATLOP는 DocRED 벤치마크에서 F1 스코어 63.4를 기록하여 이전 최고 성능 모델들을 능가한다.

ABSTRACT

Document-level relation extraction (RE) poses new challenges compared to its sentence-level counterpart. One document commonly contains multiple entity pairs, and one entity pair occurs multiple times in the document associated with multiple possible relations. In this paper, we propose two novel techniques, adaptive thresholding and localized context pooling, to solve the multi-label and multi-entity problems. The adaptive thresholding replaces the global threshold for multi-label classification in the prior work with a learnable entities-dependent threshold. The localized context pooling directly transfers attention from pre-trained language models to locate relevant context that is useful to decide the relation. We experiment on three document-level RE benchmark datasets: DocRED, a recently released large-scale RE dataset, and two datasets CDRand GDA in the biomedical domain. Our ATLOP (Adaptive Thresholding and Localized cOntext Pooling) model achieves an F1 score of 63.4, and also significantly outperforms existing models on both CDR and GDA.

연구 동기 및 목표

• 다양한 엔티티 쌍과 쌍당 다중 관계가 존재하는 문서 수준 관계 추출에서의 다중 엔티티 및 다중 레이블 과제를 해결하기 위해.
• 더 나은 일반화를 위해 인스턴스별로 다른 임계값을 학습함으로써 다중 레이블 분류에서 히ュ리스틱 임계값 튜닝을 제거하기 위해.
• 관련 없는 문서 내용에서 노이즈를 줄이기 위해 각 엔티티 쌍에 대해 관련 컨텍스트에 집중함으로써 엔티티 표현을 향상시키기 위해.
• 명시적인 그래프 구조에 의존하지 않고도 문서 수준 RE 성능을 향상시키기 위해 사전 훈련된 언어 모델의 어텐션을 직접 활용하기 위해.
• 의료 분야의 벤치마크 데이터셋인 DocRED, CDR, GDA에서 최고 성능을 달성하기 위해.

제안 방법

• 적응형 임계값은 전역 임계값을 엔티티 쌍 별로 학습 가능한 임계값 클래스로 대체하며, 양성 로짓은 임계값 이상, 음성 로짓은 이하로 유지하도록 순위 기반 손실을 통해 훈련된다.
• 국소화된 컨텍스트 풀링은 사전 훈련된 언어 모델의 어텐션 헤드를 활용해 특정 엔티티 쌍에 대해 관련 컨텍스트를 식별하기 위해 두 엔티티의 어텐션 가중치를 곱한다.
• 이 방법은 두 엔티티 모두에게 함께 유용한 토큰들(예: 예시에서 'born'과 'died')에 동적으로 집중함으로써 관계 예측 정확도를 향상시킨다.
• 고정된 전역 표현을 모든 엔티티 쌍에 적용하는 대신, 컨텍스트 인식 어텐션을 사용해 엔티티 임베딩을 개선한다.
• 이러한 구성 요소들을 통합된 프레임워크에 통합하여 관계 분류와 임계값 적응을 동시에 최적화한다.
• 모델은 문서 그래프를 구축하지 않으며, 대신 어텐션 전이와 학습 가능한 임계값을 활용해 장거리 의존성과 다중관계 사실을 모델링한다.

실험 결과

연구 질문

• RQ1 고정된 전역 임계값에 비해 엔티티 쌍 별로 특정화된 학습 가능한 임계값이 문서 수준 관계 추출의 다중 레이블 분류 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 모델 어텐션에서 유도된 국소화된 컨텍스트 풀링이 각 엔티티 쌍에 대해 관련 컨텍스트를 효과적으로 식별하고 관련 없는 문서 내용에서의 노이즈를 줄일 수 있는가?
• RQ3 적응형 임계값과 국소화된 컨텍스트 풀링을 결합함으로써 문서 수준 관계 추출 벤치마크에서 의미 있는 성능 향상을 이룰 수 있는가?
• RQ4 명시적인 문서 그래프 모델링 없이도 어텐션 전이와 엔드 투 엔드 학습에 의존하여 최고 성능을 달성할 수 있는가?
• RQ5 일반 도메인(DocRED)과 의료 도메인(CDR, GDA) 벤치마크를 포함한 다양한 문서 수준 RE 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• ATLOP는 DocRED 벤치마크에서 F1 스코어 63.4를 기록하여 새로운 최고 성능을 달성했다.
• 모델은 CDR 및 GDA 의료 분야 데이터셋에서 기존 접근 방식을 크게 능가하며, 다양한 도메인에 걸쳐 강력한 일반화 능력을 보였다.
• 적응형 임계값은 수동 임계값 튜닝이 필요 없으며, 인스턴스별로 다른 임계값을 학습함으로써 예측 신뢰도를 향상시켰다.
• 국소화된 컨텍스트 풀링은 주어진 엔티티 쌍 (John Stanistreet, Bendigo)에 대해 'born'과 'died'와 같은 관련 토큰들을 성공적으로 식별했으며, 어텐션 시각화를 통해 이를 확인했다.
• 제거 실험을 통해 적응형 임계값과 국소화된 컨텍스트 풀링이 모두 모델 성능 향상에 기여한다는 것이 확인되었다.
• 모델는 문서 그래프를 활용하지 않아도 최고 성능을 달성했으며, 사전 훈련된 모델의 어텐션 전이만으로도 효과적인 장거리 의존성 모델링이 가능하다는 것을 보여주었다.