[논문 리뷰] DER: Dynamically Expandable Representation for Class Incremental Learning

Shipeng Yan, Jiangwei Xie외 1명|arXiv (Cornell University)|2021. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 42

한 줄 요약

DER은 메모리 제한 하에서 안정성과 가소성의 균형을 맞추기 위해 이전 특성을 고정하고 매 단계마다 새로운 학습 가능한 추출기를 추가하는 동적으로 확장 가능한 표현을 도입하며, 보조 손실과 채널 수준 가지치기로 보조를 받아 CIFAR-100 및 ImageNet 하위 집합에서 최신 성과를 달성한다.

ABSTRACT

We address the problem of class incremental learning, which is a core step towards achieving adaptive vision intelligence. In particular, we consider the task setting of incremental learning with limited memory and aim to achieve better stability-plasticity trade-off. To this end, we propose a novel two-stage learning approach that utilizes a dynamically expandable representation for more effective incremental concept modeling. Specifically, at each incremental step, we freeze the previously learned representation and augment it with additional feature dimensions from a new learnable feature extractor. This enables us to integrate new visual concepts with retaining learned knowledge. We dynamically expand the representation according to the complexity of novel concepts by introducing a channel-level mask-based pruning strategy. Moreover, we introduce an auxiliary loss to encourage the model to learn diverse and discriminate features for novel concepts. We conduct extensive experiments on the three class incremental learning benchmarks and our method consistently outperforms other methods with a large margin.

연구 동기 및 목표

• 제한된 메모리로 클래스 증분 학습에서 안정성-가소성 문제를 해결한다.
• 사전 표현을 고정하고 증분 단계마다 새로운 특징 추출기를 추가하는 두 단계 프레임워크를 제안한다.
• 표현의 동적 확장을 가능하게 하는 가지치기 메커니즘을 도입하여 경량성과 효율성을 유지한다.

제안 방법

• 표현 학습과 분류기 학습의 두 단계 학습 체계를 유지한다.
• 단계 t에서 이전 특성 추출기를 고정하고 새로운 추출기 Ft를 추가하며 특징을 [Φt-1(x), Ft(x)]로 연결한다.
• 새로운 클래스에 대해 다양하고 구분 가능한 특징을 촉진하기 위해 Ft에 보조 손실을 사용한다.
• 새로움에 맞춰 모델 용량을 조정하기 위해 Ft에 미분 가능한 채널 수준 마스크 기반 가지치를 적용한다.
• 메모리 및 새로운 데이터에 대한 교차 엔트로피 손실과 함께 오래된 개념과 새로운 개념을 구분하는 보조 분류기(ER 손실)를 사용하여 학습한다.
• 클래스 불균형 완화를 위한 분류기 균형 미세조정을 수행한다.

Figure 1 : The average incremental accuracy for different model size. We compare our model with prior methods (WA [ 39 ] , BiC [ 12 ] , RPSNet [ 26 ] , iCaRL [ 27 ] , UCIR [ 12 ] , PODNet [ 6 ] ) and the model trained on all the data (Joint) on the experiment CIFAR100-B0 of 10 steps.

실험 결과

연구 질문

• RQ1 제한된 메모리 하에서 클래스 증분 학습의 안정성-가소성 트레이드오프를 동적으로 확장 가능한 표현이 개선할 수 있는가?
• RQ2 새로운 고정된 이전(퍼스트)과 학습 가능한 추출기를 추가하고 가지치기 및 보조 손실과 함께 표현을 확장하는 것이 기존 방법보다 우수한 성능을 낳는가?
• RQ3 보조 손실과 가지치기가 역전이(backward transfer)와 순방향 전이(forward transfer), 전반적 효율성에 어떤 영향을 미치는가?
• RQ4 DER이 표준 점진 프로토콜에서 CIFAR-100 및 ImageNet 하위 집합에서 어떻게 수행되는가?]
• RQ5 소스의 key_findings만
• RQ6 key_findings_not_tabular:

주요 결과

• DER은 여러 증분 프로토콜에서 CIFAR-100 및 ImageNet 벤치마크를 대상으로 기존 최첨단 방법을 일관되게 능가한다.
• 특히 마지막 단계 정확도에서 주목할 만한 향상을 보이며, 예를 들어 CIFAR100-B0에서 50단계일 때 마지막 단계 정확도가 강력한 기준선 대비 7.73% 포인트 향상된다.
• CIFAR-100 실험에서 DER은 더 큰 모델 크기와 더 많은 단계에서 이점이 커져, 더 긴 점진적 시퀀스에 대한 확장성이 향상됨을 시사한다.
• ImageNet-100 및 ImageNet-1000 벤치마크에서 DER은 ImageNet-100-B0에서 평균 Top-5 정확도를 약 1.79% 포인트 올리고, ImageNet-100-B50에서 마지막 단계 Top-1 정확도를 5.15% 포인트 증가시키며, ImageNet-1000-B0에서 3.02% 포인트 증가시킨다.
• 소거 실험은 확장 가능한 표현이 비확장 기준선보다 큰 이득(예: 12.0% 포인트 이상)을 낳으며, 보조 손실을 추가하면 추가 개선이 있고, 가지치기는 성능 손실을 최소화하며 컴팩트를 유지한다.
• 본 접근법은 단계 간 표현의 역방향 전이와 순방향 전이가 긍정적으로 나타나 지식 보유와 전달이 효과적임을 보여준다.

Figure 2 : Dynamically Expandable Representation Learning. At step $t$ , the model is composed of super-feature extractor $\Phi_{t}$ and classifier $\mathcal{H}_{t}$ , where $\Phi_{t}$ is built by expanding the existing super-feature extractor $\Phi_{t-1}^{P}$ with new feature extractor $\mathcal{F}