[논문 리뷰] Class-Incremental Exemplar Compression for Class-Incremental Learning

Zilin Luo, Yaoyao Liu외 2명|arXiv (Cornell University)|2023. 03. 24.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 클래스 증분 학습(CIL)을 위한 새로운 예시 압축 방법인 클래스 증분 마스킹(CIM)을 제안한다. 이 방법은 클래스 활성도 맵(CAMs)을 사용해 예시 이미지의 비구분성(예: 배경) 픽셀을 적응적으로 다운샘플링함으로써 고정된 메모리 예산 내에서 '다수의 샘플'을 포함하는 예시를 압축한다. 이중 최적화를 통해 학습 가능한 마스크 생성기를 최적화함으로써 CIM은 기존의 최고 성능 기준(Foster)보다 4.8%포인트 높은 정확도를 달성하며, 수동 주석 또는 증가된 메모리 사용 없이도 성능을 향상시킨다.

ABSTRACT

Exemplar-based class-incremental learning (CIL) finetunes the model with all samples of new classes but few-shot exemplars of old classes in each incremental phase, where the "few-shot" abides by the limited memory budget. In this paper, we break this "few-shot" limit based on a simple yet surprisingly effective idea: compressing exemplars by downsampling non-discriminative pixels and saving "many-shot" compressed exemplars in the memory. Without needing any manual annotation, we achieve this compression by generating 0-1 masks on discriminative pixels from class activation maps (CAM). We propose an adaptive mask generation model called class-incremental masking (CIM) to explicitly resolve two difficulties of using CAM: 1) transforming the heatmaps of CAM to 0-1 masks with an arbitrary threshold leads to a trade-off between the coverage on discriminative pixels and the quantity of exemplars, as the total memory is fixed; and 2) optimal thresholds vary for different object classes, which is particularly obvious in the dynamic environment of CIL. We optimize the CIM model alternatively with the conventional CIL model through a bilevel optimization problem. We conduct extensive experiments on high-resolution CIL benchmarks including Food-101, ImageNet-100, and ImageNet-1000, and show that using the compressed exemplars by CIM can achieve a new state-of-the-art CIL accuracy, e.g., 4.8 percentage points higher than FOSTER on 10-Phase ImageNet-1000. Our code is available at https://github.com/xfflzl/CIM-CIL.

연구 동기 및 목표

• 제한된 메모리로 인해 이전 클래스 지식 유지가 어려운 '소수의 샘플' 예시 문제를 해결하기 위해.
• 학습 중 신규 클래스 샘플의 지배성으로 인해 발생하는 기억 상실을 방지하기 위해 신규 및 이전 클래스 데이터 간의 불균형 문제를 해결하기 위해.
• 메모리 효율적이면서도 적응적인 압축 방법을 개발하여 구분성 특징을 유지하면서도 예시 수를 늘리기 위해.
• 모델 주의력(CAMs)을 이용해 자동으로 구분성 픽셀 마스크를 생성함으로써 수동 주석에 의존하지 않기 위해.
• 최적의 압축 방식이 클래스 및 단계에 따라 달라지는 동적 CIL 환경에서 마스크 생성을 최적화하기 위해.

제안 방법

• 이 방법은 클래스 활성도 맵(CAMs)을 사용해 예시 이미지의 구분성 있는 픽셀을 식별하고, 하드 임계값 처리를 통해 초기 0-1 마스크를 생성한다.
• 표준 CAMs의 고정 임계값 한계를 극복하기 위해, 단계 및 클래스별로 특화된 마스크를 적응적으로 생성하는 학습 가능한 마스크 생성 모델인 클래스 증분 마스킹(CIM)을 도입한다.
• CIM은 전역 이중 최적화 문제(BOP)를 통해 최적화되며, 압축되지 않은 신규 데이터에 대한 CIL 모델의 검증 손실을 역전파하여 CIM 모델을 조정한다.
• 압축된 예시는 구분성 없는 픽셀(마스크의 0)만 다운샘플링하여 구분성 영역의 해상도를 유지한다.
• 이 방법은 기존의 CIL 프레임워크(LUCIR 및 FOSTER 등)와 호환되며, 아키텍처 변경 없이도 플러그 앤 플레이 방식으로 통합 가능하다.
• 마스크 생성 과정은 미분 가능하며, CIL 모델과 번갈아가며 동시에 최적화되어 예시 품질과 모델 성능 간의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 구분성 특징을 유지하면서도 예시 수를 늘리는 예시 압축 기법이 엄격한 메모리 제약 조건 하에서 CIL 성능 향상에 기여할 수 있는가?
• RQ2 다양한 클래스와 증분 단계에서 마스크 생성을 적응적으로 수행함으로써 CAM 기반 압축에서의 최적화되지 않은 임계값 설정 문제를 해결할 수 있는가?
• RQ3 이중 학습을 통한 마스크 생성기의 엔드 투 엔드 최적화가 고정 또는 히우리스틱 임계값 설정보다 더 뛰어난 예시 표현 능력을 제공하는가?
• RQ4 균일한 압축(JPEG 등) 또는 고정된 예시 증류와 비교했을 때, 적응적 비균일 압축은 정확도 및 메모리 효율성 측면에서 어떻게 성능을 냈는가?
• RQ5 작은 물체는 배경 대 비율이 높기 때문에 이 압축 전략으로부터 얼마나 많은 이점을 얻을 수 있는가?

주요 결과

• CIM은 10단계 ImageNet-1000에서 새로운 최고 성능 기록인 68.03%의 정확도를 달성하며, FOSTER보다 4.8%포인트 높은 성능을 기록했다.
• ImageNet-100에서 10단계 설정에서 74.05%의 정확도를 기록했으며, 베이스라인 LUCIR보다 2.83%포인트 높은 성능을 보였다.
• 작은 물체의 정확도는 3.87%포인트 향상되었으며, 이는 배경 비율이 높기 때문에 배경 다운샘플링으로부터 가장 큰 이점을 얻었기 때문이다.
• 작은 물체 카테고리에서 평균로 저장된 예시 수는 39.40개로, 베이스라인의 20개보다 크게 초과되었으며, 이는 메모리 예산을 늘리지 않은 상태에서 이루어졌다.
• 절단 분석 결과, CIM에서 생성한 적응형 마스크는 단순한 CAMs, 무작위 영역, 중심 캡처 기반 베이스라인보다 성능이 뛰어나며, 주의력 유도 압축의 효과성을 입증했다.
• 구분성 영역에 약간의 다운샘플링(η′=2.0)을 추가하면 전체 방법과 유사한 성능를 달성할 수 있지만, 계산 비용이 증가하므로 전체 압축이 더 효율적임을 시사한다.