[논문 리뷰] Learning Adaptive Embedding Considering Incremental Class

Yang Yang, Zhenqiang Sun외 4명|arXiv (Cornell University)|2020. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 9

한 줄 요약

이 논문은 CILF라는 새로운 클래스 증분 학습 프레임워크를 제안하며, 분리된 프로토타입 기반 손실과 가속 가능한 커리큘럼 클러스터링 연산자를 통해 신규 클래스 탐지와 치명적 망각을 동시에 해결한다. 이 방법은 다수의 알려지지 않은 클래스를 정확하게 탐지하고, 최소한의 망각으로 효과적인 모델 업데이트를 가능하게 하여 스트리밍 분류 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Class-Incremental Learning (CIL) aims to train a reliable model with the streaming data, which emerges unknown classes sequentially. Different from traditional closed set learning, CIL has two main challenges: 1) Novel class detection. The initial training data only contains incomplete classes, and streaming test data will accept unknown classes. Therefore, the model needs to not only accurately classify known classes, but also effectively detect unknown classes; 2) Model expansion. After the novel classes are detected, the model needs to be updated without re-training using entire previous data. However, traditional CIL methods have not fully considered these two challenges, first, they are always restricted to single novel class detection each phase and embedding confusion caused by unknown classes. Besides, they also ignore the catastrophic forgetting of known categories in model update. To this end, we propose a Class-Incremental Learning without Forgetting (CILF) framework, which aims to learn adaptive embedding for processing novel class detection and model update in a unified framework. In detail, CILF designs to regularize classification with decoupled prototype based loss, which can improve the intra-class and inter-class structure significantly, and acquire a compact embedding representation for novel class detection in result. Then, CILF employs a learnable curriculum clustering operator to estimate the number of semantic clusters via fine-tuning the learned network, in which curriculum operator can adaptively learn the embedding in self-taught form. Therefore, CILF can detect multiple novel classes and mitigate the embedding confusion problem. Last, with the labeled streaming test data, CILF can update the network with robust regularization to mitigate the catastrophic forgetting. Consequently, CILF is able to iteratively perform novel class detection and model update.

연구 동기 및 목표

• 스트리밍 데이터에서 클래스 증분 학습(CIL)의 이중 과제인 신규 클래스 탐지와 치명적 망각을 해결한다.
• 단일 신규 클래스 탐지만을 가정하고 임베딩 혼동에 취약한 기존 방법의 한계를 극복한다.
• 완전 재학습 없이도 반복적인 탐지와 모델 업데이트를 지원하는 통합 프레임워크를 개발한다.
• 메모리 디스틸레이션과 프로토타입 정규화를 사용해 증분 모델 업데이트 중 치명적 망각을 완화한다.
• 사전 의미 정보 없이도 학습된 임베딩에 의존하여 다수의 신규 클래스를 탐지할 수 있도록 한다.

제안 방법

• 신규 클래스 탐지에 적합한 임베딩 품질을 향상시키기 위해 내부 클래스의 밀도와 외부 클래스 간의 분리도를 향상시키는 분리된 프로토타입 기반 손실을 도입한다.
• 네트워크를 자율적으로 학습시켜 의미 클러스터의 수를 적응적으로 추정하는 가속 가능한 커리큘럼 클러스터링 연산자를 설계한다.
• 증분 모델 업데이트 중 기존에 학습된 클래스의 지식을 유지하기 위해 메모리 디스틸레이션과 프로토타입 정규화를 활용한다.
• 테스트 시 알려진 클래스와 알려지지 않은 클래스를 구분하기 위해 신뢰도 기반 탐지와 경계 손실을 사용한다.
• 임베딩 혼동을 줄이고 클러스터링 수렴을 향상시키기 위해 커리큘럼 클러스터링 연산자를 특징 공간과 통합한다.
• 하이퍼파ram터 λ₁과 λ₂를 통해 분류 정확도, 신규 클래스 탐지, 망각 완화를 균형 잡는 공동 최적화 목표를 적용한다.

실험 결과

연구 질문

• RQ1 스트리밍 학습 중 사전 의미 정보 없이 다수의 신규 클래스를 효과적으로 탐지할 수 있는 통합 프레임워크가 존재하는가?
• RQ2 CIL의 증분 모델 업데이트 중 기존 클래스의 치명적 망각은 어떻게 완화할 수 있는가?
• RQ3 커리큘럼 클러스터링 연산자가 얼마나 임베딩 혼동을 줄이고 탐지 성능을 향상시키는가?
• RQ4 제안된 분리된 프로토타입 손실이 임베딩 공간에서 내부 클래스 및 외부 클래스의 구조를 어떻게 향상시키는가?
• RQ5 라벨이 부여된 쿼리 크기와 하이퍼파라미터 설정이 탐지 및 망각 성능에 미치는 영향은 무엇인가?

주요 결과

• CILF는 평가된 모든 벤치마크에서 가장 낮은 망각률을 기록했으며, 기존 클래스 정확도가 기준 방법보다 더 천천히 감소함을 확인했다.
• CIFAR-10에서 CILF는 모든 기준 방법보다 AUROC, F1, FPR95 지표에서 뛰어난 성능을 보였으며, 특히 다수의 신규 클래스가 존재하는 상황에서 두드러진다.
• 커리큘럼 클러스터링 연산자가 임베딩 혼동을 크게 줄였음을 T-SNE 시각화를 통해 확인할 수 있었다.
• 임베딩 혼동으로 인한 느린 수렴을 피한 효율적인 커리큘럼 기반 클러스터링 덕분에 CILF는 경쟁 방법보다 더 짧은 실행 시간을 기록했다.
• 라벨이 부여된 쿼리 크기가 증가할수록 성능 향상이 관찰되어, 효과적인 모델 업데이트를 위해 정답 데이터의 중요성을 확인했다.
• 하이퍼파라미터 민감도 분석 결과, λ₁ > 1일 때 최적의 성능가 나타나, 탐지 및 망각 완화에 강력한 정규화가 필수적임을 입증했다.