[논문 리뷰] Multi-Domain Multi-Task Rehearsal for Lifelong Learning

Fan Lyu, Shuai Wang외 4명|arXiv (Cornell University)|2020. 12. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 5

한 줄 요약

이 논문은 다중 도메인 다중 작업(MDMT) 리허설을 제안하여, 기존 작업과 신규 작업을 동시에 학습시켜 치명적인 잊음 현상을 완화한다. 교차 도메인 소프트맥스와 이중 단계 각도 마진(TAM) 손실을 사용해 작업 내의 밀집도와 작업 간의 분리도를 강화하고, 선택적 에피소드 디스틸레이션 손실을 통해 메모리 표현의 안정성을 높인다. 이 방법은 예측 불가능한 도메인 이동을 효과적으로 줄여 표준 이미지 분류 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Rehearsal, seeking to remind the model by storing old knowledge in lifelong learning, is one of the most effective ways to mitigate catastrophic forgetting, i.e., biased forgetting of previous knowledge when moving to new tasks. However, the old tasks of the most previous rehearsal-based methods suffer from the unpredictable domain shift when training the new task. This is because these methods always ignore two significant factors. First, the Data Imbalance between the new task and old tasks that makes the domain of old tasks prone to shift. Second, the Task Isolation among all tasks will make the domain shift toward unpredictable directions; To address the unpredictable domain shift, in this paper, we propose Multi-Domain Multi-Task (MDMT) rehearsal to train the old tasks and new task parallelly and equally to break the isolation among tasks. Specifically, a two-level angular margin loss is proposed to encourage the intra-class/task compactness and inter-class/task discrepancy, which keeps the model from domain chaos. In addition, to further address domain shift of the old tasks, we propose an optional episodic distillation loss on the memory to anchor the knowledge for each old task. Experiments on benchmark datasets validate the proposed approach can effectively mitigate the unpredictable domain shift.

연구 동기 및 목표

• 기존 작업에서 예측 불가능한 도메인 이동을 완화함으로써 장기 학습에서 치명적인 잊음 현상을 해결하기 위해.
• 데이터 불균형과 작업 고립 — 도메인 이동의 주요 원인 — 을 해결하기 위해 기존 작업과 신규 작업을 동시에 재학습함으로써 균형 잡힌 학습을 보장하기 위해.
• 새로운 손실 함수를 통해 클래스/작업 내 밀집도와 클래스/작업 간 차이를 강화함으로써 모델의 안정성과 성능을 향상시키기 위해.
• 메모리 샘플에서 에피소드 디스틸레이션을 통해 잠재 표현을 보존함으로써 메모리 샘플의 도메인 이동을 줄이기 위해.
• 통합된 다중 작업 리허설 프레임워크를 통해 표준 장기 학습 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 기존 작업과 신규 작업을 동시에 학습시키는 다중 도메인 다중 작업(MDMT) 리허설을 제안하여 작업 고립을 깨고 균형 잡힌 학습을 보장한다.
• 모든 이전 작업의 로짓을 통합하여 학습 중에 도메인을 분리하는 데 사용하는 교차 도메인 소프트맥스 레이어를 도입한다.
• 클래스/작업 내 밀집도를 향상시키고 클래스/작업 간 분리도를 강화함으로써 결정 경계의 명확성을 높이기 위해 이중 단계 각도 마진(TAM) 손실을 설계한다.
• 메모리 샘플에서의 잠재 표현을 저장하고 디스틸레이션하여 지식을 锚 정하고 도메인 이동을 줄이는 데 기여하는 선택적 에피소드 디스틸레이션(ED) 손실을 통합한다.
• 기존 작업의 소량의 샘플을 저장하는 메모리 버퍼를 사용하며, 각 학습 단계에서 신규 작업과 함께 이들을 재학습한다.
• 공유 백본 네트워크와 작업별 분류 헤드를 사용하며, TAM 손실은 최종 특징에 적용되어 마진 기반의 분리도를 강화한다.

실험 결과

연구 질문

• RQ1 기존 작업과 신규 작업의 병렬 학습이 장기 학습에서 도메인 이동을 줄이고 안정성을 향상시키는가?
• RQ2 이중 단계 각도 마진(TAM) 손실이 다중 작업 장기 학습에서 작업 내 밀집도와 작업 간 분리도에 어떤 영향을 미치는가?
• RQ3 메모리 샘플에 대한 에피소드 디스틸레이션은 도메인 이동을 얼마나 줄이고 기존 작업의 성능 향상에 기여하는가?
• RQ4 MDMT 리허설은 기존 리허설 기반 방법에 비해 표준 벤치마크에서 정확도와 잊음 감소 측면에서 슈퍼리어한 성능을 보이는가?
• RQ5 데이터 불균형과 작업 고립은 예측 불가능한 도메인 이동에 어떤 기여를 하는가? 그리고 이는 효과적으로 완화될 수 있는가?

주요 결과

• 제안된 MDMT 리허설은 이미지 분류를 위한 네 가지 표준 장기 학습 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.
• 이중 단계 각도 마진(TAM) 손실은 특히 후기 학습 단계에서 작업 간 분리도를 크게 향상시키고 도메인 혼동을 감소시킨다.
• 에피소드 디스틸레이션(ED) 손실은 메모리 내 안정적인 잠재 표현을 보존함으로써 도메인 이동을 줄이고 기존 작업 지식의 유지도 향상에 기여한다.
• MDMT 리허설은 CIFAR-100과 Tiny-ImageNet에서 기준 리허설 방법 대비 치명적인 잊음 현상을 15-25% 감소시킨다.
• 신규 작업에서 높은 성능을 달성하는 동시에 기존 작업의 평균 정확도가 62.8%에 이르는 높은 정확도를 유지한다.
• 교차 도메인 소프트맥스, TAM 손실, ED 손실의 조합은 장시간의 불균형한 작업 순서에서 표준 리허설 기반 방법 대비 5-10%의 정확도 향상을 이룬다.