[논문 리뷰] A Simple Class Decision Balancing for Incremental Learning.

Hongjoon Ahn, Taesup Moon|arXiv (Cornell University)|2020. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 9

한 줄 요약

이 논문은 분류 점수 편향을 완화하기 위해 별도의 소프트맥스(Separated Softmax, SS)층과 비율 유지(mini-batch) 기반의 비율 유지(Ratio-Preserving, RP) 미니배치를 도입한 간단하면서도 효과적인 클래스 인크리멘탈 러닝(SS-IL) 방법을 제안한다. 후처리 없이 대규모 벤치마크에서 최고 성능을 달성하며, 기존의 순수한 미세조정 대비 결정 균형을 크게 향상시키고 점수 편향을 감소시킨다.

ABSTRACT

Class incremental learning (CIL) problem, in which a learning agent continuously learns new classes from incrementally arriving training data batches, has gained much attention recently in AI and computer vision community due to both fundamental and practical perspectives of the problem. For mitigating the main difficulty of deep neural network(DNN)-based CIL, the catastrophic forgetting, recent work showed that a simple fine-tuning (FT) based schemes can outperform the earlier attempts of using knowledge distillation, particularly when a small-sized exemplar-memory for storing samples from the previously learned classes is allowed. The core limitation of the vanilla FT, however, is the severe classification score bias between the new and previously learned classes, and several state-of-the-art methods proposed to rectify the bias via additional post-processing of the scores. In this paper, we propose two simple modifications for the vanilla FT, separated softmax (SS) layer and ratio-preserving (RP) mini-batches for SGD updates. Our scheme, dubbed as SS-IL, is shown to give much more balanced class decisions, have much less biased scores, and outperform strong state-of-the-art baselines on several large-scale benchmark datasets, without any sophisticated post-processing of the scores. We also give several novel analyses our and baseline methods, confirming the effectiveness of our approach in CIL.

연구 동기 및 목표

• 기본적인 미세조정에서 발생하는 심각한 분류 점수 편향 문제를 해결하기 위해.
• 클래스 인크리멘탈 러닝(CIL) 방법에서 예측 점수의 복잡한 후처리가 필요 없도록 하기 위해.
• 지속적인 학습 환경에서 새로 학습된 클래스와 이전에 학습된 클래스 간의 결정 균형을 향상시키기 위해.
• 최소한의 아키텍처 및 훈련 수정으로 대규모 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 추론 중에 새로운 클래스와 이전 클래스의 분류 점수를 분리하여 처리하는 별도의 소프트맥스(SS)층을 도입한다.
• SGD 업데이트 중에 비율 유지(RP) 미니배치를 활용하여 훈련 단계 간에 일관된 클래스 분포 비율을 유지한다.
• 표준적인 미세조정 과정을 수정하여 SS층을 적용함으로써 신규 클래스의 점수 지배를 방지한다.
• 각 미니배치에서 이전 클래스와 신규 클래스 샘플의 상대적 비율을 유지함으로써 균형 잡힌 기울기 업데이트를 보장한다.
• 기존 클래스의 샘플을 저장하는 소규모 예시 메모리(exemplar memory)를 사용하여 치명적인 잊힘 없이 안정적인 학습을 가능하게 한다.
• 추가적인 후처리나 손실 재가중 없이, 아키텍처 및 훈련 방식의 수정에만 의존한다.

실험 결과

연구 질문

• RQ1 소프트맥스층의 단순한 수정과 미니배치 샘플링 전략의 조합이 클래스 인크리멘탈 러닝에서 분류 점수 편향을 효과적으로 줄일 수 있는가?
• RQ2 제안된 SS-IL 방법은 복잡한 예측 점수 후처리 없이도 강력한 베이스라인을 초월하는가?
• RQ3 비율 유지 미니배치 전략이 표준적인 미세조정 대비 더 나은 결정 균형을 어떻게 기여하는가?
• RQ4 SS-IL 방법은 최소한의 성능 저하로 기존 클래스와 신규 클래스 모두에서 균형 잡힌 성능 유지를 하며 치명적인 잊힘을 어느 정도 완화하는가?
• RQ5 제안된 방법은 인크리멘탈 러닝 단계 전반에 걸쳐 점수 校정성과 결정 일관성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 SS-IL 방법은 예측 점수의 후처리 없이도 여러 대규모 벤치마크에서 최고 성능을 달성한다.
• SS-IL은 기존의 순수한 미세조정 대비 새로 학습된 클래스와 이전에 학습된 클래스 간의 분류 점수 편향을 크게 감소시킨다.
• 이 방법은 기존 클래스와 신규 클래스 모두에서 높은 정확도를 유지하며, 인크리멘탈 러닝 단계 전반에 걸쳐 개선된 결정 균형을 보여준다.
• 비율 유지 미니배치의 사용은 훈련을 안정화시키고 최적화 과정에서 신규 클래스의 점수 지배를 방지한다.
• 광범위한 아블레이션 연구를 통해 별도의 소프트맥스와 비율 유지 샘플링 전략이 모두 방법의 성공에 필수적임을 확인한다.
• 최소한의 아키텍처 변경으로도 표준 CIL 벤치마크에서 강력한 최신 기술 방법들을 능가하는 성능을 기록한다.