[논문 리뷰] Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation

Peiyi Wang, Yifan Song외 5명|arXiv (Cornell University)|2022. 10. 10.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 유사한 관계에 대해 표현의 강건성을 향상시켜 지속적 관계 추출(CRE)의 성능을 향상시키는 모델에 종속되지 않는 Adversarial Class Augmentation(ACA)을 제안한다. 학습 중 하이브리드 및 뒤집힌 클래스 증강을 통해 어려운 음성 클래스를 생성함으로써 ACA는 특히 의미가 유사한 관계에 대해 치명적인 망각을 줄인다. 이는 두 개의 벤치마크에서 최신 CRE 모델의 성능을 일관되게 향상시킨다.

ABSTRACT

Continual relation extraction (CRE) aims to continually learn new relations from a class-incremental data stream. CRE model usually suffers from catastrophic forgetting problem, i.e., the performance of old relations seriously degrades when the model learns new relations. Most previous work attributes catastrophic forgetting to the corruption of the learned representations as new relations come, with an implicit assumption that the CRE models have adequately learned the old relations. In this paper, through empirical studies we argue that this assumption may not hold, and an important reason for catastrophic forgetting is that the learned representations do not have good robustness against the appearance of analogous relations in the subsequent learning process. To address this issue, we encourage the model to learn more precise and robust representations through a simple yet effective adversarial class augmentation mechanism (ACA), which is easy to implement and model-agnostic. Experimental results show that ACA can consistently improve the performance of state-of-the-art CRE models on two popular benchmarks.

연구 동기 및 목표

• 지속적 관계 추출(CRE)에서 치명적인 망각의 근본 원인을 규명하고, 특히 의미가 유사한 관계에 초점을 맞춘다.
• 기존 연구에서 새로운 관계가 도입되기 전에 이전 관계가 충분히 학습된다는 일반적인 가정을 도전한다.
• 초기 학습 단계에서 쉬운 작업에 대한 단순 학습으로 인해 발생하는 비강건한 표현이라는 간과된 문제를 해결한다.
• 치명적인 망각이 발생하기 전에 표현의 강건성을 향상시키는 단순하고 효과적이며 모델에 종속되지 않는 방법을 개발한다.
• 적대적 클래스 증강이 이후 작업에서 망각을 완화시킬 수 있으며, 특히 유사한 관계가 나타날 경우에 효과적임을 보여준다.

제안 방법

• ACA는 새로운 관계를 위한 어려운 음성 예제를 생성하기 위해 하이브리드 클래스 증강과 뒤집힌 클래스 증강이라는 두 가지 클래스 증강 전략을 도입한다.
• 학습 중에 새로운 관계는 적대적으로 증강된 클래스와 함께 함께 학습되어 모델이 더 구분력 있고 강건한 표현을 형성하도록 유도된다.
• 이 방법은 각 새로운 작업의 초기 학습 단계에서 적용되며, 향후 망각을 방지하는 예방 조치로 기능한다.
• ACA는 기존의 복구 기반 방법과 수직이며, 이는 망각이 발생한 후 지식 유지를 목표로 하므로 상호 보완적이다.
• 이 방법은 경량이며 아키텍처 수정 없이도 어떤 기반 CRE 모델에도 적용 가능하도록 설계되어 있다.
• 어려운 음성 클래스는 의미적으로 유사하지만 서로 다른 관계의 특징이나 레이블을 조합하여 구성되며, 이는 학습 중 구분하기 어려움을 증가시킨다.

실험 결과

연구 질문

• RQ1 왜 CRE에서 치명적인 망각이 특정 관계, 특히 이후에 나타나는 유사한 관계에 대해 비례적으로 더 심각하게 영향을 미치는가?
• RQ2 기존 CRE 모델의 실패가 초기에 쉬운, 도전이 되지 않는 데이터에서의 학습으로 인해 형성된 비강건한 표현 때문인가?
• RQ3 적대적 데이터 증강이 의미적으로 유사한 관계에 대해 CRE의 표현 강건성을 향상시킬 수 있는가?
• RQ4 ACA는 기존의 복구 기반 방법과 성능 향상 및 망각 완화 측면에서 어떻게 비교되는가?
• RQ5 ACA의 효과는 메모리 크기나 데이터셋 내 관계의 유사성에 따라 달라지는가?

주요 결과

• CRE에서 치명적인 망각은 유사한 관계의 존재와 강하게 상관되어 있으며, 이러한 관계가 이후 작업에 나타날 경우 성능 저하가 심각하게 발생한다.
• EMAR 모델은 P26 관계가 도입될 때 P25 관계의 F1 점수에서 14점 감소를 겪으며, 비강건한 표현으로 인한 심각한 망각을 보여준다.
• ACA를 적용한 경우 동일한 모델는 P26 관계 도입 시 P25의 F1 점수를 4점만 감소시키며, 망각 완화 효과가 뚜렷하게 나타난다.
• FewRel 벤치마크에서 EMAR+ACA는 메모리 크기가 5, 10, 20일 때 각각 2.8, 1.1, 0.7 점의 정확도 향상을 보이며, 다양한 설정에서 일관된 성능 향상을 보였다.
• 오류 분석 결과 ACA는 최대 유사도(MS)가 높은 관계에서 망각을 가장 효과적으로 줄였지만, 이는 여전히 지도 학습 기반 모델과의 성능 격차가 존재함을 시사한다.
• ACA는 유사도 그룹 G3(가장 높은 유사도 그룹)에서 F1 점수를 최대 0.9점 향상시키며, 의미적으로 유사한 관계에 대해 효과적임을 입증한다.