[논문 리뷰] Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference

Yabin Wang, Zhiheng Ma외 4명|arXiv (Cornell University)|2022. 11. 29.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 간섭을 방지하기 위해 단계별 분류기를 격리하고, 에너지 기반 자기정규화를 통해 공정하게 통합하는, 리허설 없이 작동하는 증분 학습 프레임워크 ESN을 제안한다. 온도 조절된 에너지 지표를 통해 신뢰도 점수를 校정하고, 투표 기반 추론을 통해 ESN은 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 최소한의 기억 상실을 보인다.

ABSTRACT

This paper focuses on the prevalent performance imbalance in the stages of incremental learning. To avoid obvious stage learning bottlenecks, we propose a brand-new stage-isolation based incremental learning framework, which leverages a series of stage-isolated classifiers to perform the learning task of each stage without the interference of others. To be concrete, to aggregate multiple stage classifiers as a uniform one impartially, we first introduce a temperature-controlled energy metric for indicating the confidence score levels of the stage classifiers. We then propose an anchor-based energy self-normalization strategy to ensure the stage classifiers work at the same energy level. Finally, we design a voting-based inference augmentation strategy for robust inference. The proposed method is rehearsal free and can work for almost all continual learning scenarios. We evaluate the proposed method on four large benchmarks. Extensive results demonstrate the superiority of the proposed method in setting up new state-of-the-art overall performance. \emph{Code is available at} \url{https://github.com/iamwangyabin/ESN}.

연구 동기 및 목표

• 증분 학습에서 후행 단계에서 치명적인 기억 상실과 낮은 정확도로 인한 성능 불균형 문제를 해결한다.
• 다른 작업에서 다른 데이터 분포를 기반으로 학습된 단계별 분류기의 신뢰도 분포가 불일치하는 문제를 해결한다.
• 과거 데이터를 저장하지 않으면서도 모든 단계에서 높은 정확도를 유지하는 리허설 없는 파라다임을 개발한다.
• 모든 분류기의 출력 신뢰도 수준을 동일한 에너지 평면으로 정규화하여 공정한 통합을 보장한다.
• 투표 기반 보완을 통해 일반화 능력을 향상시키는 강력한 추론 기반을 설계한다.

제안 방법

• 고정된 사전 훈련된 비전 트랜스포머(ViT) 백본을 고정된 특징 추출기로 사용하여 단계 내 일관된 특징 표현을 제공한다.
• 온도 조절된 에너지 지표를 도입하여 단계별 분류기의 신뢰도 점수 수준을 정량화하고 정렬한다.
• 모든 단계 분류기가 동일한 에너지 평면에서 작동하도록 보장하기 위해 앵커 기반 에너지 자기정규화 손실을 제안한다.
• 백본의 미세조정 없이도 작업별로 특화된 분류기를 학습하기 위해 경량의 태스크 특화 디코더인 클래스 주의 블록(CAB)을 적용한다.
• 모든 단계 분류기의 예측을 통합하여 강건성과 일반화 능력을 향상시키기 위해 투표 기반 추론 전략을 구현한다.
• 투표 결과 기반으로 동적 온도 선택 전략을 도입하여 추가로 신뢰도 점수를 校정하고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 리허설 없이도 단계 격리된 분류기를 효과적으로 통합할 수 있는가, 모든 학습 단계에서 공정성이 유지되는가?
• RQ2 다른 데이터 분포에서 학습된 분류기의 신뢰도 점수를 어떻게 정규화하여 공정하고 강건한 앙상블 추론를 가능하게 할 수 있는가?
• RQ3 에너지 수준 정렬이 증분 학습 단계 간의 성능 불균형을 완화하는 데 미치는 영향은 무엇인가?
• RQ4 기존의 리허설 기반 및 리허설 없는 접근법과 비교했을 때, 제안된 방법은 정확도와 기억 상실 측면에서 어떻게 성능을 내는가?
• RQ5 아키텍처 제약 없이 다양한 네트워크 아키텍처와 최종 작업에 대해 이 프레임워크가 일반화 가능한가?

주요 결과

• ESN은 Split CIFAR-100에서 86.34%의 새로운 최고 성능(FAA)을 달성하여 이전 방법들을 크게 앞서며 성과를 내었다.
• 절단 실험 결과, 에너지 자기정규화를 제거하면 FAA가 6.13%p 감소함으로써, 이 기법이 공정한 통합에 핵심적인 역할을 한다는 것을 입증하였다.
• 투표 기반 온도 보정은 고정 온도 기반 베이스라인 대비 성능을 0.61%p 향상시켜, 신뢰도 보정에 효과적임을 입증하였다.
• 클래스 주의 블록을 통한 파라미터 격리는 필수적이다. CAB을 작업 간 공유할 경우, 격리 설계 대비 FAA가 2.4%p 감소한다.
• 제안된 방법은 하이퍼파rameter 선택에 대해 강건하다. 에너지 앵커 Δ를 -15에서 0으로 변화시켜도 성능 변동은 미미하며, FAA에서 ±0.38% 이내로 유지된다.
• 다양한 아키텍처 중에서 CAB 기반 ESN은 성능(86.34% FAA)과 파라미터 효율성(3.4% 상대적 증가) 사이의 최적의 균형을 달성하여, VPT 및 DER 방법에 비해 더 낮은 파라미터 확장률에도 불구하고 성능에서 앞선다.