[논문 리뷰] General Incremental Learning with Domain-aware Categorical Representations

Jiangwei Xie, Shipeng Yan외 1명|arXiv (Cornell University)|2022. 04. 08.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 도메인 인식 클래스 표현을 위한 바흐-마이스-피셔 혼합 모델과 이중 수준 균형 메모리로, 상호 클래스 및 내부 클래스의 안정성-유연성 딜레마와 도메인 불균형 문제를 동시에 해결하는 새로운 오프라인 일반적 인크리멘탈 학습 프레임워크를 제안한다. 이 방법은 iDigits, iDomainNet, iCIFAR-20 벤치마크에서 최신 기술 수준의 성능을 달성하며, 가장 도전적인 설정에서 평균 정확도 기준 최대 +16.36% 향상을 보였다.

ABSTRACT

Continual learning is an important problem for achieving human-level intelligence in real-world applications as an agent must continuously accumulate knowledge in response to streaming data/tasks. In this work, we consider a general and yet under-explored incremental learning problem in which both the class distribution and class-specific domain distribution change over time. In addition to the typical challenges in class incremental learning, this setting also faces the intra-class stability-plasticity dilemma and intra-class domain imbalance problems. To address above issues, we develop a novel domain-aware continual learning method based on the EM framework. Specifically, we introduce a flexible class representation based on the von Mises-Fisher mixture model to capture the intra-class structure, using an expansion-and-reduction strategy to dynamically increase the number of components according to the class complexity. Moreover, we design a bi-level balanced memory to cope with data imbalances within and across classes, which combines with a distillation loss to achieve better inter- and intra-class stability-plasticity trade-off. We conduct exhaustive experiments on three benchmarks: iDigits, iDomainNet and iCIFAR-20. The results show that our approach consistently outperforms previous methods by a significant margin, demonstrating its superiority.

연구 동기 및 목표

• 시간이 지남에 따라 클래스 및 내부 클래스 도메인 분포가 변화하는 일반적 인크리멘탈 학습 문제를 다루며, 안정성-유연성 및 데이터 불균형 문제를 유발하는 새로운 과제를 제기한다.
• 기존에 학습한 클래스의 새로운 도메인에 적응하면서 이전 지식을 무시하지 않도록 하기 위해 내부 클래스 안정성-유연성 딜레마를 극복한다.
• 제한된 메모리와 편향된 데이터 샘플링으로 인해 새로운 도메인이 지배하는 상황을 방지하기 위해 내부 클래스 도메인 불균형 문제를 완화한다.
• 다양한 도메인을 통해 복잡한 내부 클래스 구조를 포괄하는 유연하고 동적인 클래스 표현을 개발한다.
• 정규화 및 메모리 균형화를 통한 통합 학습 프레임워크로 상호 및 내부 클래스의 안정성-유연성 트레이드오���을 통합한다.

제안 방법

• 클래스 특징을 표현하기 위해 바흐-마이스-피셔(vMF) 혼합 모델을 사용하여, 다수의 도메인에 걸쳐 내부 클래스 데이터의 도메인 인식 클러스터링을 가능하게 한다.
• 확장 및 감소 전략을 적용: 새로운 도메인이 등장할 때 혼합 성분을 동적으로 증가시키고, 계층적 클러스터링을 통해 압축성을 유지하기 위해 감소시킨다.
• 기본 네트워크와 vMF 혼합 성분을 동시에 최적화하기 위해 기대치 최대화(EM) 알고리즘을 적용하며, 성분 할당을 잠재 변수로 간주한다.
• 클래스 간 및 내부 클래스 간 데이터 균형을 확보하기 위해 이중 수준 균형 메모리 샘플링 전략을 도입하여, 새로운 도메인과 새로운 클래스에 대한 편향을 감소시킨다.
• 인크리멘탈 업데이트 중 치명적인 무시 현상을 방지하기 위해 상호 클래스 및 내부 클래스 지식 정규화 손실을 모두 통합한다.
• 세션 단위로 반복적인 모델 업데이트를 수행: 이전 모델을 상속하고, 새로운 성분을 할당하며, EM을 통해 업데이트한 후 클러스터링을 통해 성분을 감소시킨다.

실험 결과

연구 질문

• RQ1 다양한 도메인을 통해 내부 클래스 데이터 분포 변화를 효과적으로 모델링할 수 있는 민첩하고 도메인 인식 클래스 표현이 가능한가?
• RQ2 도메인 레이블이 알려져 있지 않고 새로운 도메인이 시간이 지남에 따라 등장할 때 내부 클래스 안정성-유연성 트레이드오프를 어떻게 개선할 수 있는가?
• RQ3 이중 수준 메모리 전략이 일반적 인크리멘탈 학습에서 클래스 내외의 데이터 불균형을 어느 정도 완화할 수 있는가?
• RQ4 EM 기반 학습 및 정규화와 함께 도메인 인식 표현을 통합할 경우, 다양한 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ5 혼합 성분 감소의 임계값 및 메모리 크기와 같은 하이퍼파라미터 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 방법은 DER과 통합했을 때 iCIFAR-20-NCD 분할에서 평균 인크리멘탈 정확도가 60.04%에서 76.40%로 +16.36% 향상되어 최대 향상을 보였다.
• iCIFAR-20-ND 분할에서 제안된 방법은 도메인 분포 이동의 한계를 해결함으로써 DER의 성능을 78.24%에서 84.11%로 향상시켰다.
• UCIR과 제안된 방법을 조합하면 iDigits-NCD 분할에서 90.42%의 정확도를 달성하여 모든 베이스라인을 능가했다.
• 제거 분석 결과, 이중 수준 메모리 샘플링 전략을 추가함으로써 ND 분할에서 0.89% 향상되고, ND 분할에서 2.07% 향상되었다.
• t-SNE 시각화 결과, 이 방법이 세션 간에 고순도의 도메인 특화 클러스터로 인스턴스를 성공적으로 분리함을 확인했다.
• 민감도 분 析를 통해 혼합 성분 감소의 임계값과 같은 하이퍼파라미터 변화에 대해 이 방법이 강인함을 입증했다.