[논문 리뷰] Continual Learning for Text Classification with Information Disentanglement Based Regularization

Yufan Huang, Yanzhe Zhang외 3명|arXiv (Cornell University)|2021. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 연속적 텍스트 분류를 위한 정보 분리 기반 정규화(IDBR) 방법을 제안한다. 이 방법은 숨겨진 표현을 과제 일반성 및 과제 특이성 성분으로 분리하여 장기 지식을 유지하기 위한 정규화를 적용하면서도 새로운 과제에 대한 유연성을 확보한다. 실험 결과, IDBR는 5개의 벤치마크 데이터셋에서 최신 기술을 능가하며 치명적 기억 상실을 감소시킨다.

ABSTRACT

Continual learning has become increasingly important as it enables NLP models to constantly learn and gain knowledge over time. Previous continual learning methods are mainly designed to preserve knowledge from previous tasks, without much emphasis on how to well generalize models to new tasks. In this work, we propose an information disentanglement based regularization method for continual learning on text classification. Our proposed method first disentangles text hidden spaces into representations that are generic to all tasks and representations specific to each individual task, and further regularizes these representations differently to better constrain the knowledge required to generalize. We also introduce two simple auxiliary tasks: next sentence prediction and task-id prediction, for learning better generic and specific representation spaces. Experiments conducted on large-scale benchmarks demonstrate the effectiveness of our method in continual text classification tasks with various sequences and lengths over state-of-the-art baselines. We have publicly released our code at https://github.com/GT-SALT/IDBR.

연구 동기 및 목표

• 과제 일반성 및 과제 특이성 지식을 구분하여 연속적 텍스트 분류에서 치명적 기억 상실 문제를 해결하기 위해.
• 이전 과제의 지식을 유지하면서도 새로운 과제에 대한 모델 일반화 능력을 향상시키기 위해.
• 재생 기반 방법에 비해 메모리 및 학습 오버헤드를 줄이기 위해.
• 일반성 및 특이성 표현에 대해 서로 다른 방식으로 정규화 전략을 개발하여 최적의 지식 유지 성능를 확보하기 위해.
• 대규모 벤치마크에서 다양한 과제 순서 및 시퀀스 길이에 걸쳐 효과성을 입증하기 위해.

제안 방법

• 보조 과제를 사용하여 BERT 기반의 숨겨진 표현을 과제 일반성 및 과제 특이성 성분으로 분리한다.
• 과제 일반성 표현을 학습하기 위해 다음 문장 예측을, 과제 특이성 표현을 학습하기 위해 과제 ID 예측을 사용한다.
• 다른 정규화 제약 조건을 적용한다: 과제 일반성 공간에는 더 강한 정규화, 과제 특이성 공간에는 더 가벼운 정규화를 적용하여 안정성을 유지한다.
• 이전 과제의 가장 대표적인 예시 중 1%만 저장하는 메모리 선택 규칙(K-Means)을 도입한다.
• 정규화를 소규모 에피소딕 메모리 버퍼와 결합하여 지식 복구 능력을 향상시킨다.
• 공유 및 과제 특이성 헤드를 갖춘 이중 브랜치 헤드를 사용하여 분류한다.

실험 결과

연구 질문

• RQ1 숨겨진 표현을 일반성 및 특이성 성분으로 분리하는 것이 텍스트 분류에서 연속 학습 성능을 향상시키는가?
• RQ2 일반성 및 특이성 표현에 대해 서로 다른 정규화 강도를 적용함으로써 치명적 기억 상실을 줄일 수 있는가?
• RQ3 다음 문장 예측 및 과제 ID 예측과 같은 보조 과제가 분리 과정을 효과적으로 이끌 수 있는가?
• RQ4 제한된 메모리 예산 하에서 K-Means를 통한 메모리 선택이 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 과제 순서 및 시퀀스 길이에 걸쳐 일반화되는가?

주요 결과

• IDBR는 5개의 벤치마크에서 평균 정확도 73.72%를 달성하여 최신 기술을 능가한다.
• 제거 실험 결과, 다음 문장 예측 및 과제 ID 예측이라는 두 보조 과제를 모두 사용할 경우 성능 향상이 가장 크다.
• 일반성 및 특이성 공간 양쪽에 정규화가 필수적이며, 일반성 공간에 더 강한 정규화를 적용할 경우 기억 상실 감소 효과가 더 크다.
• K-Means 메모리 선택은 랜덤 샘플링보다 성능 향상을 이룬다. 특히 도전적인 과제 순서에서 두드러진다.
• IDBR 적용 시 기억 상실 측정치가 크게 감소하여 5개 과제 이후 평균 기억 상실 점수가 2.89로 떨어지며, 치명적 기억 상실 감소를 확인한다.
• 다양한 과제 순서 및 입력 길이에서도 높은 성능 유지를 유지하여 강건성과 일반화 능력을 입증한다.