[논문 리뷰] Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning

Yangkai Du, Tengfei Ma외 5명|arXiv (Cornell University)|2022. 05. 21.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 문서 수준 관계 추출(Document-level relation extraction, DocRE)에서 장 tail 분포 문제를 해결하기 위해 Easy Relation Augmentation(ERA)와 대조 학습 프레임워크인 ERACL을 제안한다. 원시 텍스트가 아닌 관계 표현을 증강함으로써 ERA는 자원이 부족한(꼬리에 해당하는) 관계에 대해 효율적이고 정확도 높은 데이터 증강을 가능하게 하며, ERACL은 원거리 감독 데이터 기반의 대조 학습을 통해 일반화 능력을 향상시킨다. 이로 인해 머리 관계 성능을 희생시키지 않은 채 꼬리 관계에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Towards real-world information extraction scenario, research of relation extraction is advancing to document-level relation extraction(DocRE). Existing approaches for DocRE aim to extract relation by encoding various information sources in the long context by novel model architectures. However, the inherent long-tailed distribution problem of DocRE is overlooked by prior work. We argue that mitigating the long-tailed distribution problem is crucial for DocRE in the real-world scenario. Motivated by the long-tailed distribution problem, we propose an Easy Relation Augmentation(ERA) method for improving DocRE by enhancing the performance of tailed relations. In addition, we further propose a novel contrastive learning framework based on our ERA, i.e., ERACL, which can further improve the model performance on tailed relations and achieve competitive overall DocRE performance compared to the state-of-arts.

연구 동기 및 목표

• 희귀 관계가 부족하게 나타나고 잘 학습되지 않는 문서 수준 관계 추출(Document-level relation extraction, DocRE)에서 장 tail 분포 문제를 해결하기 위해.
• 전체 문서를 다시 인코딩하지 않고도 꼬리 관계 성능을 특별히 향상시키는 계산 효율적인 데이터 증강 방법을 개발하기 위해.
• 제안된 증강 기반의 대조 학습 프레임워크를 통해 자원이 부족한 관계에서의 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 경쟁적인 전체 DocRE 성능를 달성하면서도 희귀(꼬리) 관계 성능을 크게 향상시키기 위해.
• 기본 벤치마크를 초월한 다양한 DocRE 데이터셋에서와 저자원 환경에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 원시 텍스트가 아닌 관계 표현을 대상으로 하는 새로운 데이터 증강 기법인 Easy Relation Augmentation(ERA)를 제안하여, 꼬리 관계에 대해 효율적이고 정밀한 증강을 가능하게 한다.
• 원거리 감독 데이터 기반으로 증강된 표현과 원본 표현을 통합하기 위해 대조 손실를 최소화하는 대조 학습 프레임워크인 ERACL을 도입한다.
• 음성 샘플의 동적 메모리 백업을 유지하기 위해 MoCo 스타일의 모멘터리 품질 큐를 사용하여 대조 학습을 통해 표현 품질을 향상시킨다.
• 증강 및 대조 학습을 원거리 감독 데이터에서의 사전 훈련 동안 적용하여, 희귀 관계로의 일반화 능력을 향상시킨다.
• 백본 인코더로 XLM-RoBERTa-base를 사용하고, DocRED 및 HacRED 데이터셋에서 종단 간(end-to-end)으로 방법을 적용한다.
• ERA 또는 대조 학습 구성 요소를 비활성화하여 추론 가능한 기여도를 분리하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 원시 텍스트가 아닌 관계 표현을 증강하는 것이 텍스트 수준 증강보다 문서 수준 관계 추출(DocRE)에서 자원이 부족한(꼬리에 해당하는) 관계 성능 향상에 더 효율적인가?
• RQ2 증강된 관계 표현에 대한 대조 학습이 특히 꼬리 관계에서 일반화 능력을 얼마나 향상시키는가?
• RQ3 제안된 ERA 및 ERACL 프레임워크는 꼬리 관계 성능을 크게 향상시키는 동안 머리 관계 성능도 유지하는가?
• RQ4 장 tail 분포 영향이 더 두드러지는 저자원 환경에서 이 방법의 효과는 어떠한가?
• RQ5 제안된 방법은 주요 벤치마크(예: HacRED)를 초월한 다른 장 tail DocRE 데이터셋에서도 일반화 가능한가?

주요 결과

• ERA는 ATLOP 대비 꼬리 관계(클러스터 4–10)에서 F1 점수를 최대 0.44 포인트 향상시키며, 머리 관계(클러스터 1–3)에서도 경쟁 가능한 성능 유지를 보였다.
• ERACL은 ATLOP 대비 0.50포인트의 F1 향상과 0.79포인트의 매크로 F1 향상을 기록했으며, 가장 큰 향상은 꼬리 관계에서 관찰되었다.
• 10% 및 5% 훈련 데이터 설정에서 ERACL은 각각 14.89 및 11.84의 매크로@500 F1 점수를 기록하여 저자원 환경에서 강력한 데이터 효율성과 강건성을 보였다.
• HacRED에서 ERA는 ATLOP 대비 0.43포인트의 F1 향상과 0.74포인트의 매크로 F1 향상을 기록하여 DocRED 벤치마크를 초월한 일반화 능력을 입증했다.
• 추론 실험 결과, ERA와 대조 학습 모두 성능 향상에 거의 동일한 기여를 하였으며, 각각 제거 시 F1 점수는 0.44 및 0.50 포인트 감소하였다.
• DocRED에서 최고 성능(SOTA)을 달성하면서도 희귀 빈도 관계 성능을 크게 향상시켜, 장 tail 분포 문제 완화에 효과적임을 입증하였다.