[논문 리뷰] A Unified Approach to Domain Incremental Learning with Memory: Theory and Algorithm

Haizhou Shi, Hao Wang|arXiv (Cornell University)|2023. 10. 18.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 적응형 계수를 가진 일반화 오차 경계를 유도함으로써 기존 도메인 인크리멘탈 러닝 방법을 이론적이고 알고리즘적으로 통합하는 Unified Domain Incremental Learning (UDIL)을 제안한다. UDIL은 훈련 중에 이러한 계수를 동적으로 최적화함으로써 성능을 향상시키며, 합성 및 실세계 벤치마크에서 기존 최고 성능(SOTA)을 달성하면서도 잊히는 현상(forgetting)을 크게 감소시킨다.

ABSTRACT

Domain incremental learning aims to adapt to a sequence of domains with access to only a small subset of data (i.e., memory) from previous domains. Various methods have been proposed for this problem, but it is still unclear how they are related and when practitioners should choose one method over another. In response, we propose a unified framework, dubbed Unified Domain Incremental Learning (UDIL), for domain incremental learning with memory. Our UDIL **unifies** various existing methods, and our theoretical analysis shows that UDIL always achieves a tighter generalization error bound compared to these methods. The key insight is that different existing methods correspond to our bound with different **fixed** coefficients; based on insights from this unification, our UDIL allows **adaptive** coefficients during training, thereby always achieving the tightest bound. Empirical results show that our UDIL outperforms the state-of-the-art domain incremental learning methods on both synthetic and real-world datasets. Code will be available at https://github.com/Wang-ML-Lab/unified-continual-learning.

연구 동기 및 목표

• 기존 도메인 인크리멘탈 러닝 방법들 간의 이론적 통합 부족과 성능의 일관성 부족 문제를 해결하기 위해.
• 기존 방법들 간의 이론적 관계를 규명하여, 모두 동일한 일반화 오차 경계를 고정 계수로 최소화한다는 것을 드러내기 위해.
• 훈련 중에 적응형 계수 학습이 가능한 통합 프레임워크를 개발하여 더 날카운 일반화 오차 경계를 달성하기 위해.
• 적응형 계수 학습이 고정 계수 기반 베이스라인 대비 뛰어난 성능과 더 낮은 치명적 잊히는 현상을 유발하는지 경험적으로 검증하기 위해.

제안 방법

• UDIL은 기존 방법들을 고정 계수를 가진 특수 케이스로 포함하는 통합 일반화 오차 경계를 도입한다.
• 프레임워크는 훈련 중에 동적으로 적응형 계수를 학습할 수 있도록 하여 현재 도메인과 과거 도메인 학습 간의 트레이드오프를 최적화한다.
• 현재 도메인 손실과 리플레이 손실을 결합한 서로서바 손실을 사용하며, 이는 이전 방법에서 사용된 고정된 β 값 대신 학습 가능한 계수를 사용한다.
• 적응형 계수들은 기울기 기반 최적화를 통해 업데이트되어 모델이 현재 지식과 과거 지식 간의 자동 균형을 유지할 수 있도록 한다.
• 과거 예시의 메모리 리플레이를 활용하여 과거 도메인 오차를 추정함으로써, 메모리 제약 조건 하에서도 실용성을 유지한다.
• 이론적 분석을 통해 UDIL이 어떤 고정 계수 방법보다 항상 더 날카운 일반화 오차 경계를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 기존 도메인 인크리멘탈 러닝 방법들 간의 이론적 관계는 어떻게 되는가?
• RQ2 더 날카운 일반화 오차 경계를 가진, 기존 방법들을 포함하고 개선하는 통합 프레임워크를 개발할 수 있는가?
• RQ3 훈련 중에 적응형 계수 학습이 고정 계수 대비 도메인 인크리멘탈 러닝에서 더 나은 성능을 내는가?
• RQ4 UDIL은 벤치마크 데이터셋에서 SOTA 방법 대비 치명적 잊히는 현상을 어느 정도 감소시키는가?

주요 결과

• 버퍼 크기가 800인 R-MNIST에서 UDIL은 평균 정확도 89.191%와 잊히는 정도 6.351%를 기록하여, 두 번째로 좋은 성능을 낸 DER++(89.746% 평균 정확도, 7.821% 잊히는 정도)를 능가했다.
• 버퍼 크기가 1000인 Seq-CORe50에서 UDIL은 평균 정확도 88.155%와 잊히는 정도 12.882%를 기록하여, 두 번째로 좋은 성능을 낸 DER++(86.392% 평균 정확도, 13.128% 잊히는 정도)를 초월했다.
• 버퍼 크기가 800일 때, R-MNIST에서 UDIL은 DER++ 대비 8.43% 더 낮은 잊히는 정도를 기록했고, Seq-CORe50에서는 0.24% 더 낮았다.
• R-MNIST에서 버퍼 크기가 200일 때 UDIL은 12.971%의 잊히는 정도를 기록하여, DER++(21.743%)와 CLS-ER(22.483%)보다 유의미하게 낮았다.
• Seq-CORe50에서 버퍼 크기가 1000일 때 UDIL은 평균 정확도 88.155%를 기록했고, 더 작은 버퍼를 사용한 R-MNIST에서의 공동 오라클 성능 97.150%를 초월했다.
• 이론적 분석을 통해 UDIL이 어떤 고정 계수 방법보다 항상 더 날카운 일반화 오차 경계를 달성함을 확인하였으며, 이는 기존 접근법에 대한 원칙적인 개선을 제공한다.