[논문 리뷰] None Class Ranking Loss for Document-Level Relation Extraction

Zhou Yang, Wee Sun Lee|arXiv (Cornell University)|2022. 05. 01.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 문서 수준 관계 추출을 위한 새로운 다중 레이블 손실인 None Class Ranking Loss (NCRL)을 제안한다. NCRL은 'none' 클래스와 각 사전 정의된 관계 클래스 간에 큰 신뢰도 점수 간격을 강제함으로써 성능을 햖थ다. 레이블 상관관계를 모델링하고 맥락에 따라 조정 가능한 임계값을 제공함으로써, NCRL은 표준 이진 교차 엔트로피보다 성능이 뛰어나며, 특히 양성-음성 클래스 불균형과 노이즈가 있는 레이블 상황에서 유의미한 성능 향상을 보이며, DocRED, DialogRE 및 GoEmotions 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Document-level relation extraction (RE) aims at extracting relations among entities expressed across multiple sentences, which can be viewed as a multi-label classification problem. In a typical document, most entity pairs do not express any pre-defined relation and are labeled as "none" or "no relation". For good document-level RE performance, it is crucial to distinguish such none class instances (entity pairs) from those of pre-defined classes (relations). However, most existing methods only estimate the probability of pre-defined relations independently without considering the probability of "no relation". This ignores the context of entity pairs and the label correlations between the none class and pre-defined classes, leading to sub-optimal predictions. To address this problem, we propose a new multi-label loss that encourages large margins of label confidence scores between each pre-defined class and the none class, which enables captured label correlations and context-dependent thresholding for label prediction. To gain further robustness against positive-negative imbalance and mislabeled data that could appear in real-world RE datasets, we propose a margin regularization and a margin shifting technique. Experimental results demonstrate that our method significantly outperforms existing multi-label losses for document-level RE and works well in other multi-label tasks such as emotion classification when none class instances are available for training.

연구 동기 및 목표

• 표준 다중 레이블 손실(예: 이진 교차 엔트로피)이 문서 수준 관계 추출에서 'none' 클래스를 忽略하고 전역 임계값에 의존한다는 한계를 해결하기 위해.
• 레이블 신뢰도 간격을 통해 'none' 클래스와 사전 정의된 관계 클래스 간의 관계를 명시적으로 모델링하여 모델 성능을 향상시키기 위해.
• 실제 문서 수준 RE 데이터셋에서 양성-음성 클래스 불균형과 잘못 레이블링된 데이터에 대한 강건성을 향상시키기 위해.
• 'none' 클래스 점수를 인스턴스별로 적용 가능한 임계값으로 사용함으로써 맥락 기반 임계값 조정을 가능하게 하기 위해.

제안 방법

• 각 사전 정의된 관계 클래스와 'none' 클래스의 신뢰도 점수 간 간격을 최대화하는 새로운 서로서비스 손실인 None Class Ranking Loss (NCRL)를 제안한다.
• 다중 레이블 예측 작업을 순위 매기기 문제로 재정의하여, 긍정 관계는 'none' 클래스보다 높게 순위 매겨지고, 부정 관계는 낮게 순위 매겨지도록 한다.
• 간격 정규화를 도입하여 'none' 클래스 점수보다 훨씬 낮은 점수를 가진 부정 샘플에 대해 보상함으로써, 양성-음성 불균형 문제를 완화한다.
• 간격 이동을 적용하여 이상적으로 높은 신뢰도 점수를 가진 부정 샘플의 영향을 줄여, 레이블 노이즈에 대한 강건성을 향상시킨다.
• BERT 기반 문장 인코더를 사용하여 맥락에 민감한 표현을 생성하고, 이후 분류기 헤드를 통해 관계 점수를 예측한다.
• 'none' 클래스 점수는 동적 임계값으로 기능한다: 'none' 클래스 점수보다 높은 점수를 가진 관계는 모두 긍정으로 예측된다.

실험 결과

연구 질문

• RQ1 'none' 클래스를 명시적으로 모델링하는 다중 레이블 손실이 표준 이진 교차 엔트로피에 비해 문서 수준 관계 추출 성능 향상에 기여하는가?
• RQ2 사용자 정의된 'none' 클래스 점수를 통해 인스턴스별 임계값을 학습하는 것이 전역 임계값보다 더 우수한 일반화 성능을 낳는가?
• RQ3 NCRL이 문서 수준 RE 데이터셋에서의 양성-음성 클래스 불균형 문제를 얼마나 효과적으로 다루는가?
• RQ4 특히 이상적으로 높은 신뢰도 점수를 가진 샘플에 대해 NCRL이 노이즈에 강건한가?
• RQ5 'none' 클래스 인스턴스가 존재할 경우, NCRL이 다른 다중 레이블 작업으로 일반화 가능한가?

주요 결과

• NCRL은 DocRED 및 DialogRE 문서 수준 관계 추출 데이터셋에서 이진 교차 엔트로피 및 기타 다중 레이블 손실보다 유의미하게 뛰어난 성능을 기록한다.
• DocRED 데이터셋에서 NCRL은 테스트 F1 점수 73.13%를 기록하여, 다음으로 좋은 방법(튜닝된 레이블별 임계값을 가진 BCE)보다 1.29 포인트 높다.
• NCRL은 하이퍼파라미터 설정, 특히 간격 이동 파라미터 γ에 대해 매우 강건하며, 다양한 값에서도 성능 변화가 거의 없음을 보였다.
• 'none' 클래스 인스턴스가 없는 AAPD 데이터셋에 적용했을 경우 NCRL은 BCE를 능가하지 못했으며, 이는 'none' 클래스 인스턴스가 NCRL의 효과성에 필수적임을 확인한다.
• 간격 정규화와 간격 이동 기법이 노이즈가 많고 불균형한 샘플의 영향을 효과적으로 줄여 모델 일반화 성능을 향상시켰다.
• GoEmotions, 세밀한 감정 분류 데이터셋에서 NCRL은 최고 성능을 기록하여, 'none' 클래스 인스턴스가 존재하는 다른 다중 레이블 작업으로의 일반화 가능성도 확인했다.