[논문 리뷰] Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation

Min Soo Kang, Jaeyoo Park외 1명|arXiv (Cornell University)|2022. 04. 02.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 클래스 증분 학습을 위한 지식 정복 방법을 제안하며, 모델 업데이트 중 손실 증가를 최소화하기 위해 중요도에 따라 특징 맵을 적응적으로 가중하는 방식을 사용한다. 표현 변화가 손실에 미치는 영향을 추정함으로써, 안정성을 유지하기 위해 중요한 특징을 보존하면서도 덜 중요한 특징에 대해서는 유연성을 확보한다. 이로 인해 치명적인 잊음 현상이 크게 감소하고, 50개의 증분 단계 동안 CIFAR-100에서 평균 62.58%의 정확도를 기록하며 이전 방법들을 능가한다.

ABSTRACT

We present a novel class incremental learning approach based on deep neural networks, which continually learns new tasks with limited memory for storing examples in the previous tasks. Our algorithm is based on knowledge distillation and provides a principled way to maintain the representations of old models while adjusting to new tasks effectively. The proposed method estimates the relationship between the representation changes and the resulting loss increases incurred by model updates. It minimizes the upper bound of the loss increases using the representations, which exploits the estimated importance of each feature map within a backbone model. Based on the importance, the model restricts updates of important features for robustness while allowing changes in less critical features for flexibility. This optimization strategy effectively alleviates the notorious catastrophic forgetting problem despite the limited accessibility of data in the previous tasks. The experimental results show significant accuracy improvement of the proposed algorithm over the existing methods on the standard datasets. Code is available.

연구 동기 및 목표

• 기존 작업 데이터를 위한 제한된 메모리만 확보 가능한 환경에서 클래스 증분 학습에서 치명적인 잊음 현상을 해결하기 위해.
• 균일한 가중치 대신 특징 맵의 중요도를 통합함으로써 지식 정복을 향상시키기 위해.
• 모델 업데이트로 인한 기대 손실 증가의 상한선을 최소화하는 원리적인 방법을 개발하기 위해.
• 동적 특징 가중치를 통해 오래된 작업에 대한 강건성과 새로운 작업에 대한 적응성을 균형 있게 유지하기 위해.
• 지속적인 학습 환경에서 높은 성능를 유지하면서도 계산 및 메모리 오버헤드를 최소화하기 위해.

제안 방법

• 이 방법은 모델 업데이트 중 특징 맵 분포의 이탈과 그로 인한 손실 증가 사이의 관계를 추정한다.
• 기대 손실 증가에 대한 상한선을 유도하고, 이를 특징 맵의 중요도에 따라 적응적으로 가중함으로써 최소화한다.
• 중요도는 손실에 대한 특징 맵 활성화의 미분값(기울기)을 사용하여 계산되며, 이는 예측 오차에 기여하는 정도를 반영한다.
• 이러한 학습된 가중치를 사용하여 지식 정복을 적용함으로써, 중요한 특징에 대한 업데이트를 제약하고 덜 중요한 특징에 대해서는 변화를 허용한다.
• 이전 작업의 예시 집합을 사용하며, 이를 현재 작업 데이터와 함께 학습 과정에 통합한다.
• 하이퍼파rameter λ_disc 는 오래된 지식을 보존하는 것과 새로운 작업을 학습하는 것 사이의 트레이드오프를 조정한다.

실험 결과

연구 질문

• RQ1 제한된 메모리 조건에서 클래스 증분 학습에서 치명적인 잊음 현상을 방지하기 위해 지식 정복을 어떻게 개선할 수 있는가?
• RQ2 모델 업데이트 중 특징 맵 분포의 이탈과 손실 증가 사이의 관계는 어떠한가?
• RQ3 특징 맵 중요도를 할당하는 원리적이고 데이터 기반의 방법이 히وري스틱 또는 균일한 가중치보다 우월한가?
• RQ4 적응형 특징 통합은 다양한 증분 단계와 초기 작업 크기에서 성능에 어떤 영향을 미치는가?
• RQ5 손실 균형 조정 계수 λ_disc 와 같은 하이퍼파rameter 선택에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 50개의 증분 단계를 거친 CIFAR-100에서 제안된 AFC 방법은 평균 62.58%의 정확도를 기록하여 이전 최신 기술 수준의 방법들을 크게 능가했다.
• CNN 기반의 손실을 사용할 경우 AFC는 62.18%의 정확도를 달성하여 PODNet 및 UCIR를 포함한 모든 비교 방법들을 초월했다.
• 초기 작업 크기를 50개의 클래스로 줄이고 나머지 작업 각각을 1개의 클래스로 설정한 경우에도 AFC는 62.58%의 정확도를 기록하여 장기적인 증분 시퀀스에 대한 뛰어난 강건성을 입증했다.
• 이 방법은 하이퍼파rameter λ_disc 에 대해 매우 낮은 민감도를 보이며, 2.0에서 6.0의 범위에서 다양한 값에서도 높은 성능를 유지했다.
• 균일한 중요도 가중치 및 기타 특징 정복 기반 방법보다 큰 격차로 승승을 거두었으며, 일부 설정에서는 10퍼센트 포인트 이상의 향상이 있었다.
• 제거 실험을 통해 제안된 손실 형식과 함께 예시 집합을 사용할 경우 분석적 상한선만을 사용하는 것보다 더 뛰어난 성능를 얻을 수 있음을 확인했으며, 특히 메모리 예산이 낮을 경우 더욱 두드러졌다.