[논문 리뷰] Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

Peiyi Wang, Yifan Song외 5명|arXiv (Cornell University)|2022. 09. 01.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 지속적인 관계 추출(CRE)을 위한 단순하면서도 효과적인 이단계 접근법인 Fea를 제안한다. 첫 번째 단계인 빠른 적응(FA)을 통해 새로운 관계에 신속히 적응하고, 두 번째 단계인 균형 조정 튜닝(BT)을 통해 균형 잡힌 메모리 데이터를 바탕으로 미세조정한다. 단순한 구조임에도 불구하고, 데이터 불균형과 치명적인 기억 상실을 유발하는 결정 경계의 비대칭성 문제를 완화함으로써 Fewrel과 Tacred에서 최신 기술(SOTA) 수준 또는 그에 준하는 성능을 달성한다.

ABSTRACT

Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.

연구 동기 및 목표

• 새로운 관계와 오래된 관계 간의 데이터 불균형으로 인한 치명적인 기억 상실 문제를 해결하기 위해.
• 복잡한 아키텍처를 가진 최신 기술 CRE 모델들이 성능이 떨어지는 이유를 탐구하기 위해.
• 기존 강력한 베이스라인을 단순화하여 성능 향상에 기여하는 핵심 원칙을 규명하기 위해.
• 특히 분류기 설계와 관계 식별 능력 측면에서 향후 CRE 모델을 위한 실질적인 설계 통찰을 제공하기 위해.

제안 방법

• Fea는 이단계 학습 파이프라인을 사용한다: 빠른 적응(FA)은 새로운 데이터에만 전용으로 모델을 미세조정하여 새로운 관계를 신속히 학습한다.
• 균형 조정 튜닝(BT)은 오래된 데이터와 새로운 데이터를 조합한 다운샘플링된 균형 잡힌 메모리 세트를 기반으로 모델을 다시 미세조정하여 클래스 불균형 문제를 줄인다.
• 복잡한 메모리 네트워크나 프로토타입 기반 개선 기법을 피하고, 대신 데이터 균형 조절과 순차적 학습에 집중한다.
• 이 방법은 EMAR와 RPCRE와 같은 두 가지 강력한 베이스라인을 단순화하여 그들의 복잡한 모듈을 더 단순하고 효과적인 구성 요소로 대체함으로써 이를 포함하는 것으로 입증된다.
• 기울기 노름 분석과 오류 분석을 통해 데이터 불균형과 분류기 기울기 문제의 성능에 미치는 영향을 검증한다.
• 메모리 네트워크에서 관계 프로토타입 노름을 정규화하여 주의 집중 편향을 완화하고, 표현 균형을 개선함으로써 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 왜 복잡한 아키텍처를 가진 최신 기술 CRE 모델들이 치명적인 기억 상실 문제를 겪는가?
• RQ2 새로운 관계와 오래된 관계 간의 데이터 불균형이 CRE에서 분류기의 결정 경계에 어떤 영향을 미치는가?
• RQ3 단순한 이단계 학습 전략이 지속적인 관계 추출에서 복잡한 모델을 능가할 수 있는가?
• RQ4 기존의 강력한 베이스라인을 제안된 방법의 核심 원칙을 활용해 얼마나 단순화하고 개선할 수 있는가?
• RQ5 강력하고 일반화 능력이 뛰어난 지속적인 관계 추출 모델을 구축하기 위해 가장 효과적인 설계 원칙은 무엇인가?

주요 결과

• Fea는 Fewrel에서 27.8 F1, Tacred에서 45.0 F1의 뛰어난 성능을 기록했으며, EMAR와 RPCRE와 같은 복잡한 베이스라인을 능가했다.
• 빠른 적응 단계를 제거하면 Fewrel에서 1.4 F1 포인트, Tacred에서 4.1 F1 포인트 성능이 떨어지며, 이는 이 단계가 기억 상실을 완화하는 데 핵심적인 역할을 함을 보여준다.
• 메모리 데이터의 균형 조절은 Tacred에서 EMAR의 성능을 1.1 F1 포인트 향상시켰고, Fewrel에선 0.4 F1 포인트 향상시켜 데이터 불균형이 핵심 문제임을 입증한다.
• RPCRE의 메모리 네트워크는 고노름 프로토타입을 향한 주의 집중 편향을 유도하고 유사한 관계 간의 혼동을 증가시켜 성능 저하를 초래한다.
• 관계 프로토타입의 노름을 정규화하면 Fewrel에선 0.2 F1 포인트, Tacred에선 1.2 F1 포인트 성능 향상이 이루어져 정규화의 영향력이 확인된다.
• 오류 분석 결과, RPCRE는 'followed by' 인스턴스의 40.7%를 'follow'로 잘못 분류하지만, Fea는 이 비율을 30.7%로 낮춰 유사 관계 간의 식별 능력이 뛰어나다는 것을 입증한다.