[논문 리뷰] Online Continual Learning on Class Incremental Blurry Task Configuration with Anytime Inference

Hyunseo Koh, Dahyun Kim외 2명|arXiv (Cornell University)|2021. 10. 19.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 클래스 증분, 작업 없음, 그리고 언제라도 추론이 가능한 블러러운 작업 경계를 지원하는 새로운 온라인 지속 학습 설정인 i-Blurry를 제안한다. CLIB는 샘플별 중요도 메모리 관리, 메모리 전용 훈련, 적응형 학습률 스케줄링을 사용하는 방법으로, CIFAR-10/100에서 기존 방법보다 뛰어난 성능을 보이며, CIFAR-10에서 AUC 정확도 70.26, CIFAR-100에서 46.67을 기록한다.

ABSTRACT

Despite rapid advances in continual learning, a large body of research is devoted to improving performance in the existing setups. While a handful of work do propose new continual learning setups, they still lack practicality in certain aspects. For better practicality, we first propose a novel continual learning setup that is online, task-free, class-incremental, of blurry task boundaries and subject to inference queries at any moment. We additionally propose a new metric to better measure the performance of the continual learning methods subject to inference queries at any moment. To address the challenging setup and evaluation protocol, we propose an effective method that employs a new memory management scheme and novel learning techniques. Our empirical validation demonstrates that the proposed method outperforms prior arts by large margins. Code and data splits are available at https://github.com/naver-ai/i-Blurry.

연구 동기 및 목표

• 기존 지속 학습 설정의 실용적 한계를 해결하기 위해, 분리된 클래스 분할이나 고정된 작업 경계를 가정하고, 언제라도 추론을 지원하지 않는 점을 개선한다.
• 클래스 증분 학습과 블러러운 작업 경계를 결합하고, 추론 시 작업 ID 없이도 작동하는 새로운 지속 학습 설정인 i-Blurry를 제안한다.
• 언제라도 추론 조건 하에서 모델 성능을 더 잘 측정하기 위해, 정확도의 AUC(A_AUC)라는 새로운 평가 지표를 도입한다.
• 새로운 지속 학습 방법인 CLIB를 개발하여, 혁신적인 메모리 관리, 훈련 전략, 학습률 스케줄링를 통해 i-Blurry 설정을 효과적으로 처리한다.

제안 방법

• 온라인, 작업 없음, 클래스 증분이며, 블러러운 클래스 분포를 가진 작업 경계를 지원하는 새로운 지속 학습 설정인 i-Blurry를 제안한다.
• 훈련에 기여도를 기반으로 유용하지 않은 샘플을 선택적으로 제거할 수 있도록, 샘플별 중요도 점수를 도입한다.
• 메모리 버퍼에서만 샘플을 사용하는 메모리 전용 훈련 전략을 적용하여, 현재 온라인 스트림의 직접적인 영향을 피한다.
• 손실 경로에 따라 동적으로 학습률을 증가 또는 감소시키는 적응형 학습률 스케줄링 메커니즘을 설계하여, 더 나은 수렴을 가능하게 한다.
• 기본적으로 레저보어 샘플링을 사용한 경험 재생을 사용하지만, 제안된 구성 요소들을 통해 이를 개선한다.
• 모델 정확도가 시간에 따라 어떻게 변화하는지를 측정하는 곡선의 면적을 계산하는 A_AUC라는 새로운 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 블러러운 작업 경계와 작업 ID 없이 추론 가능한 클래스 증분 학습을 통합함으로써 지속 학습 설정을 더 현실적으로 만들 수 있는가?
• RQ2 A_avg와 같은 기존 평가 지표는 연속적인 훈련 및 추론 중 모델 성능을 얼마나 잘 반영하는가?
• RQ3 샘플별 중요도 기반의 메모리 관리 체계가 온라인, 클래스 증분 설정에서 지속 학습 성능을 향상시키는가?
• RQ4 온라인 데이터 스트림과 함께 훈련하는 것보다 메모리 버퍼에서만 훈련하는 것이 모델의 안정성과 성능을 향상시키는가?
• RQ5 손실 경로 기반의 적응형 학습률 스케줄링이 언제라도 추론 조건 하에서 지속 학습 성능을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 제안된 i-Blurry 설정은 클래스 증분 학습과 블러러운 작업 경계를 결합함으로써 실제 세계의 지속 학습 시나리오를 더 잘 반영한다.
• 새로운 지표인 A_AUC는 성능을 시간에 따라 효과적으로 측정하며, 특히 장기간 훈련 중에 A_avg로는 드러나지 않는 성능 격차를 드러낸다.
• CLIB는 CIFAR-10과 CIFAR-100 양쪽에서 기존 지속 학습 방법을 능가하며, CIFAR-10에서 A_AUC 70.26 ± 1.28, CIFAR-100에서 46.67 ± 0.79를 기록한다.
• 제거 실험 결과, 샘플별 중요도 기반 메모리 관리가 가장 큰 성능 향상을 가져오며, 이를 제거했을 경우 CIFAR-100에서 A_AUC가 16.51점 감소한다.
• 메모리 전용 훈련은 경험 재생 대비 CIFAR-10에서 A_AUC 2.21점, CIFAR-100에서 2.04점 향상된다.
• 적응형 학습률 스케줄링은 더 도전적인 CIFAR-100에서 A_AUC 1.66점 향상으로 더 큰 성과를 내며, 복잡한 환경에서의 중요성을 보여준다.