[논문 리뷰] CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

Zixuan Ke, Bing Liu외 2명|arXiv (Cornell University)|2021. 12. 05.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 인크리멘탈 러닝(DIL) 환경에서 테스트 시 작업 식별자가 필요 없이 지속적이고 대비적인 학습 프레임워크인 CLASSIC을 제안한다. 어댑터 기반 BERT 미세조정, 대비 지식 증류, 작업 마스크를 활용하여 도메인 간 공유 지식을 효과적으로 전이하고 치명적인 잊음 현상을 완화하며, 19개의 작업을 포함한 벤치마크에서 90.22%의 정확도와 85.12%의 매크로-F1을 기록하여 최신 기술 수준을 초월한다.

ABSTRACT

This paper studies continual learning (CL) of a sequence of aspect sentiment classification(ASC) tasks in a particular CL setting called domain incremental learning (DIL). Each task is from a different domain or product. The DIL setting is particularly suited to ASC because in testing the system needs not know the task/domain to which the test data belongs. To our knowledge, this setting has not been studied before for ASC. This paper proposes a novel model called CLASSIC. The key novelty is a contrastive continual learning method that enables both knowledge transfer across tasks and knowledge distillation from old tasks to the new task, which eliminates the need for task ids in testing. Experimental results show the high effectiveness of CLASSIC.

연구 동기 및 목표

• 테스트 시 작업 식별자가 알려지지 않은 도메인 인크리멘탈 러닝(DIL) 환경에서 지속적인 액센트 감성 분류(ASC)에 도전하는 것.
• 순차적인 ASC 작업에서 치명적인 잊음 현상을 완화하면서도 도메인 간 지식 전이를 가능하게 하는 것.
• 모든 이전 작업과 새로운 작업을 처리할 수 있는 단일 통합 모델을 훈련시켜 추론 시 작업 식별자 필요성을 제거하는 것.
• 다양한 작업 간 정방향 및 역방향 지식 전이를 지원하는 대비 학습 방법을 개발하는 것.

제안 방법

• 기존 BERT 파라미터를 유지하면서 작업별 적응을 가능하게 하여 치명적인 잊음 현상을 줄이는 어댑터 기반 BERT 미세조정을 채택한다.
• 다양한 작업 간 표현을 정렬하여 공유 지식을 전이하는 새로운 대비 지속적 학습 방법을 도입한다.
• 이전 모든 작업의 지식을 현재 모델로 전이하기 위해 대비 앙상블 증류를 적용하여 최종 모델이 작업 식별자가 없이도 모든 작업을 분류할 수 있도록 한다.
• 학습 가능한 작업 마스크를 사용하여 작업별 지식를 격리하고 보호함으로써 간섭과 잊음 현상을 최소화한다.
• 다양한 작업의 유사한 샘플이 유사한 표현을 가지도록 유도하는 대비 손실을 통해 모델을 종합적으로 훈련한다.
• 이전 작업 모델의 지식을 현재 모델로 증류하여 오래된 작업의 성능을 유지한다.

실험 결과

연구 질문

• RQ1 추론 시 작업 식별자가 필요 없이 다양한 도메인 간 공유 지식을 효과적으로 전이할 수 있는 지속적 학습 프레임워크는 액센트 감성 분류에서 성능을 높일 수 있는가?
• RQ2 BERT 기반 모델을 사용할 때 지속적 액센트 감성 분류에서 치명적인 잊음 현상을 어떻게 완화할 수 있는가?
• RQ3 대비 학습은 DIL 환경에서 순차적인 ASC 작업 간 지식 전이와 모델 일반화를 얼마나 향상시키는가?
• RQ4 기존의 지속적 학습 기반 모델 대비 성능과 견고성 측면에서 제안된 방법이 우월한가?
• RQ5 대비 지식 증류와 어댑터 미세조정을 통해 훈련된 단일 통합 모델은 작업별 헤드 선택 없이도 모든 이전 및 새로운 작업에서 높은 성능을 달성할 수 있는가?

주요 결과

• CLASSIC은 19개 작업을 포함한 도메인 인크리멘탈 러닝 벤치마크에서 90.22%의 정확도와 85.12%의 매크로-F1을 기록하여 모든 최신 기술 수준의 기반 모델을 크게 앞서간다.
• 제거 실험을 통해 대비 지식 공유, 대비 지도 학습, 대비 앙상블 증류 각각의 구성 요소가 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 내는 것으로 확인되었다.
• 정방향 전이가 효과적임을 보여주며, CLASSIC(forward)에서 CLASSIC로의 성능 향상과 함께 역방향 전이가 성능을 추가로 향상시켜 성공적인 지식 유지가 이루어졌음을 시사한다.
• LAMOL, KAN, HAT조차도 엔트로피 기반 작업 식별을 추가로 적용했음에도 불구하고 CLASSIC는 이들보다 뛰어난 성능을 보이며 DIL 환경에서의 우월성을 입증했다.
• 모든 작업에서 높은 성능 유지가 가능하며 이전 작업의 성능 저하가 없음을 통해 치명적인 잊음 현상이 효과적으로 완화되었음을 보여준다.
• 대비 학습 구성 요소가 일반화 능력을 크게 향상시켰음을 증명하며, 특히 불균형한 설정에서 매크로-F1이 일관되게 향상됨을 확인할 수 있었다.