[논문 리뷰] Open-World Continual Learning: Unifying Novelty Detection and Continual Learning

Gyuhak Kim, Changnan Xiao외 3명|arXiv (Cornell University)|2023. 04. 20.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 이론적으로 효과적인 클래스 인크리멘탈 러닝(CIL)이 정확한 태스크 내 예측과 분포 외(OOD) 탐지 모두를 필요로 함을 증명함으로써 오픈월드 지속적 학습을 통합한다. 제안된 MORE 프레임워크는 태스크별 및 OOD 예측 헤드의 공동 최적화를 통해 이러한 기능을 통합하여 메모리 사용을 줄이며 여러 벤치마크에서 최신 기술 수준의 정확도와 OOD 탐지 성능을 달성한다.

ABSTRACT

As AI agents are increasingly used in the real open world with unknowns or novelties, they need the ability to (1) recognize objects that (a) they have learned before and (b) detect items that they have never seen or learned, and (2) learn the new items incrementally to become more and more knowledgeable and powerful. (1) is called novelty detection or out-of-distribution (OOD) detection and (2) is called class incremental learning (CIL), which is a setting of continual learning (CL). In existing research, OOD detection and CIL are regarded as two completely different problems. This paper first provides a theoretical proof that good OOD detection for each task within the set of learned tasks (called closed-world OOD detection) is necessary for successful CIL. We show this by decomposing CIL into two sub-problems: within-task prediction (WP) and task-id prediction (TP), and proving that TP is correlated with closed-world OOD detection. The key theoretical result is that regardless of whether WP and OOD detection (or TP) are defined explicitly or implicitly by a CIL algorithm, good WP and good closed-world OOD detection are necessary and sufficient conditions for good CIL, which unifies novelty or OOD detection and continual learning (CIL, in particular). We call this traditional CIL the closed-world CIL as it does not detect future OOD data in the open world. The paper then proves that the theory can be generalized or extended to open-world CIL, which is the proposed open-world continual learning, that can perform CIL in the open world and detect future or open-world OOD data. Based on the theoretical results, new CIL methods are also designed, which outperform strong baselines in CIL accuracy and in continual OOD detection by a large margin.

연구 동기 및 목표

• AI 에이전트가 새로운 객체를 탐지하고 점진적으로 학습해야 하는 오픈월드 과제를 해결하기 위해.
• 기존에 별개로 간주되던 문제들인 분포 외(OOD) 탐지와 클래스 인크리멘탈 러닝(CIL)을 이론적으로 상호의존성으로 증명함으로써 통합하기 위해.
• 디스틸리케이션 또는 큰 메모리 버퍼에 의존하지 않고도 OOD 탐지와 지속적 학습을 자연스럽게 지원하는 새로운 CIL 방법을 설계하기 위해.
• 메모리 소비를 최소화하면서도 CIL 정확도와 OOD 탐지 성능 양면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 논문은 CIL을 두 가지 하위 문제로 분해한다: 태스크 내 예측(WP)과 태스크 ID 예측(TP)으로, TP가 OOD 탐지와 동치임을 보여준다.
• 좋은 WP와 좋은 OOD 탐지는 효과적인 CIL을 위해 필수적이고 충분한 조건임을 증명하여 통합의 이론적 기반을 확립한다.
• 제안된 MORE 프레임워크는 교차 엔트로피 손실과 마진 기반 OOD 손실을 통합한 단일 손실 함수를 사용하여 태스크 내 예측용 분류기와 별도의 OOD 점수 헤드를 공동 최적화한다.
• 작은 버퍼(예: 200~2000개 샘플)를 사용하는 메모리 효율적인 리플레이 메커니즘을 활용하고, 모델 디스틸리케이션을 피함으로써 메모리 오버헤드를 감소시킨다.
• 이중 헤드 아키텍처를 사용한다: 하나는 각 태스크별 클래스 예측을 위해, 다른 하나는 OOD 점수 추정을 위해 사용되며, 공유된 특징 표현을 통해 엔드 투 엔드 학습이 가능하다.
• 추론 시, 태스크별 확률과 OOD 점수를 가중 조합하여 분류 및 신규성 탐지 기능을 동시에 수행한다.

실험 결과

연구 질문

• RQ1 효과적인 클래스 인크리멘탈 러닝(CIL)을 위해 분포 외(OOD) 탐지는 이론적으로 필수적인가?
• RQ2 단일 모델 아키텍처로 CIL과 OOD 탐지 양면에서 높은 성능을 동시에 달성할 수 있는가?
• RQ3 CIL를 태스크 내 예측과 태스크 ID 예측으로 분해하는 것은 OOD 탐지와 어떻게 관련이 있는가?
• RQ4 모델 디스틸리케이션을 피하고 메모리 버퍼 크기를 줄일 경우 CIL 및 OOD 성능에 어떤 영향을 미치는가?
• RQ5 통합 프레임워크가 기존의 CIL 및 OOD 탐지 방법보다 정확도와 강건성 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 논문은 이론적으로 좋은 태스크 내 예측과 좋은 OOD 탐지는 효과적인 CIL를 위해 필수적이고 충분한 조건임을 증명하여 두 문제를 통합한다.
• 제안된 MORE 방법은 더 작은 메모리 버퍼를 사용하면서도 C10-5T에서 평균 분류 정확도 88.13, C100-10T에서 71.69, C100-20T에서 71.29, T-5T에서 64.17, T-10T에서 61.90의 최신 기술 수준 성능을 달성한다.
• 기존 강력한 베이스라인인 iCaRL, DER++, A-GEM보다 메모리 버퍼 크기를 절반으로 줄였음에도 불구하고 CIL 정확도와 OOD 탐지 성능에서 모두 슈퍼리어한 성능을 보인다.
• MORE는 데이터셋에 따라 23.7M에서 27.7M의 메모리 엔트리만 사용하며, Sup(45.7M)와 A-GEM(31.5M)처럼 메모리 소비가 큰 방법들보다 훨씬 적은 자원을 사용하면서도 뛰어난 성능을 유지한다.
• 모델 디스틸리케이션을 피하고 이전 모델을 저장할 필요가 없어, CIFAR100-10T에서 iCaRL 및 DER++보다 최대 1.8M의 메모리 엔트리 절감이 가능하다.
• 절단 실험에서 WP와 OOD 헤드의 공동 최적화가 일반화 능력과 강건성을 향상시켜 이론적 주장의 타당성을 확인한다.