[논문 리뷰] Improving Continual Relation Extraction through Prototypical Contrastive Learning

Chengwei Hu, Deqing Yang외 3명|arXiv (Cornell University)|2022. 10. 10.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 치명적인 잊음 문제를 완화하기 위해 분류 네트워크와 원형 대비 네트워크를 결합한 새로운 지속적 관계 추출 프레임워크인 CRECL을 제안한다. 각 인스턴스를 모든 후보 관계의 학습된 원형 프로토타입과 대조시킴으로써 CRECL은 작업 간 특징의 구분 능력을 향상시켜 TACRED 및 FewRel에서 최신 기술(SOTA) 기준보다 성능을 크게 향상시킨다.

ABSTRACT

Continual relation extraction (CRE) aims to extract relations towards the continuous and iterative arrival of new data, of which the major challenge is the catastrophic forgetting of old tasks. In order to alleviate this critical problem for enhanced CRE performance, we propose a novel Continual Relation Extraction framework with Contrastive Learning, namely CRECL, which is built with a classification network and a prototypical contrastive network to achieve the incremental-class learning of CRE. Specifically, in the contrastive network a given instance is contrasted with the prototype of each candidate relations stored in the memory module. Such contrastive learning scheme ensures the data distributions of all tasks more distinguishable, so as to alleviate the catastrophic forgetting further. Our experiment results not only demonstrate our CRECL's advantage over the state-of-the-art baselines on two public datasets, but also verify the effectiveness of CRECL's contrastive learning on improving CRE performance.

연구 동기 및 목표

• 새로운 관계를 학습할 때 이전 작업에서 성능이 저하되는 지속적 관계 추출(CRE)에서의 치명적인 잊음을 해결하기 위해.
• 오래된 작업과 새로운 작업 간의 데이터 분포 분리 능력을 향상시켜 장기적인 모델 성능을 향상시키기 위해.
• 이전 데이터를 재학습 없이 새로운 관계를 추가할 수 있는 실용적인 클래스 증분 학습을 가능하게 하기 위해.
• 기존의 메모리 기반 또는 정규화 방법보다 더 효과적으로 부정적 관계 정보를 활용하기 위해.
• 지식 유지 안정성을 높이면서도 현재 작업의 정확도를 유지할 수 있는 대비 학습 기반 메커니즘 설계하기 위해.

제안 방법

• 관계 분류와 특징 구분 능력을 동시에 최적화하기 위해 분류 네트워크와 대비 네트워크를 통합한다.
• 각 관계당 $ L $개의 대표적인 인스턴스의 평균 임베딩으로 구성된 관계 프로토타입을 메모리 모듈에 저장하며, K-means 클러스터링을 통해 학습한다.
• 모든 관계 프로토타입과 각 입력 인스턴스를 대조함으로써 원형 대비 학습을 적용하여 내부 클래스의 밀도 향상과 외부 클래스의 분리도 향상시킨다.
• 양의 쌍(인스턴스와 진짜 관계 프로토타입)은 가까이, 음의 쌍은 멀리 있도록 유도하는 대비 손실 $ \\_\mathcal{L}_{contrast} $ 를 사용한다.
• 분류 및 대비 브랜치 간에 인코딩 네트워크 가중치를 공유하여 일관성을 유지하고 파rameter 오버헤드를 줄인다.
• 최적 예측과 비최적 예측 간의 갭을 증가시키기 위해 마진 손실 $ \\_\mathcal{L}_{mag} $ 를 적용하여 일반화 능력을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 원형 대비 학습이 지속적 관계 추출에서 치명적인 잊음을 효과적으로 줄일 수 있는가?
• RQ2 대비 학습은 오래된 작업과 새로운 작업 간의 데이터 분포 분리 능력을 어떻게 향상시키는가?
• RQ3 제안된 CRECL 프레임워크는 TACRED 및 FewRel과 같은 벤치마크 데이터셋에서 최신 기술(SOTA) 방법보다 더 높은 성능을 달성하는가?
• RQ4 CRECL의 성능은 메모리 크기 $ L $ 과 프로토타입 선택 전략에 얼마나 민감한가?
• RQ5 대비 학습은 현재 작업의 정확도를 유지하면서 이전 작업의 유지 능력을 얼마나 잘 보존하는가?

주요 결과

• CRECL은 TACRED 및 FewRel 양쪽 모두에서 모든 SOTA 기준보다 뛰어난 성능을 보이며, 모든 지속적 학습 설정에서 평균 F1 점수가 가장 높다.
• 원형 대비 학습 메커니즘이 t-SNE를 통해 시각화된 바와 같이 데이터 분포의 분리 능력을 크게 향상시켜 오래된 작업과 새로운 작업의 관계 간 오버랩을 줄였다.
• K-means 기반 프로토타입 선택 덕분에 CRECL은 이전 방법들인 RP-CRE보다 메모리 크기 $ L $ 에 대해 덜 민감하며, $ L \geq 8 $ 일 때도 안정적인 성능을 유지한다.
• 제거 실험을 통해 K-means 기반 프로토타입 선택이 무작위 샘플링보다 우월함을 확인하였으며, CRECL-K는 낮은 정확도와 높은 불안정성을 보였다.
• 대비 손실 $ \\_\mathcal{L}_{contrast} $ 과 마진 손실 $ \\_\mathcal{L}_{mag} $ 가 함께 작용하여 현재 작업의 정확도를 떨어뜨리지 않으면서 성능을 향상시켰다.
• 마진 손실과 대비 학습을 결합한 CRECL-MAG는 현재 작업과 이전 작업 양쪽에서 가장 안정적인 성능을 보이며 최소한의 성능 저하를 보였다.