[논문 리뷰] Incremental Learning with Maximum Entropy Regularization: Rethinking Forgetting and Intransigence

Dahyun Kim, Ji-Hwan Bae외 2명|arXiv (Cornell University)|2019. 02. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 11

한 줄 요약

이 논문은 치명적인 망각과 고립을 완화하기 위해 최대 엔트로피 정규화(MER)를 통해 불확실한 지식에 대한 과적합을 줄이고, 드롭아웃 샘플링(DOS)을 통해 클래스 불균형을 완화하며 자체 학습 커리큘럼을 유도하는 새로운 인크리멘탈 학습 방법인 MEDIC를 제안한다. MEDIC는 CIFAR100과 TinyImageNet에서 기존 방법보다 5% 이상 높은 정확도를 달성하여 최신 기술 수준(SOTA)을 달성했으며, 다양한 작업 구성과 메모리 예산에서 망각 및 고립 지표에서 뚜렷한 향상을 보였다.

ABSTRACT

Incremental learning suffers from two challenging problems; forgetting of old knowledge and intransigence on learning new knowledge. Prediction by the model incrementally learned with a subset of the dataset are thus uncertain and the uncertainty accumulates through the tasks by knowledge transfer. To prevent overfitting to the uncertain knowledge, we propose to penalize confident fitting to the uncertain knowledge by the Maximum Entropy Regularizer (MER). Additionally, to reduce class imbalance and induce a self-paced curriculum on new classes, we exclude a few samples from the new classes in every mini-batch, which we call DropOut Sampling (DOS). We further rethink evaluation metrics for forgetting and intransigence in incremental learning by tracking each sample's confusion at the transition of a task since the existing metrics that compute the difference in accuracy are often misleading. We show that the proposed method, named 'MEDIC', outperforms the state-of-the-art incremental learning algorithms in accuracy, forgetting, and intransigence measured by both the existing and the proposed metrics by a large margin in extensive empirical validations on CIFAR100 and a popular subset of ImageNet dataset (TinyImageNet).

연구 동기 및 목표

• 기존 지식을 망각하고 새로운 클래스를 학습하는 데 어려움을 겪는 인크리멘탈 학습에서 치명적인 망각과 고립을 해결하기 위해.
• 이전 작업에서 전이된 불확실한 지식에 대해 과도하게 확신하는 피팅을 방지함으로써 모델의 강건성을 향상시키기 위해.
• 자기 주도적 학습 커리큘럼을 유도하기 위해 새로운 클래스 샘플의 선택적 제거를 통해 클래스 불균형을 줄이고 학습 효율성을 향상시키기 위해.
• 기존의 정확도 차이 기반 지표를 넘어서 상대적 중요도와 샘플 수준의 혼동 동역학을 포괄하는 더 세밀한 평가 지표를 제안하기 위해.
• 극단적인 작업 순서(최고 순서 대 최악 순서)와 감소된 메모리 예산 하에서 방법의 일반화 능력과 안정성을 검증하기 위해.

제안 방법

• 불확실한 이전 작업의 지식에 대해 확신 있는 예측을 방지하기 위해 최대 엔트로피 정규화(MER)를 도입하여 과적합을 억제함으로써 모델이 잠재적으로 잘못된 지식에 과도하게 적응하는 것을 막는다.
• 각 미니배치 학습 단계에서 새로운 클래스의 일부 샘플을 선택적으로 제거함으로써 클래스 불균형을 완화하고 자체 학습 커리큘럼을 유도하는 드롭아웃 샘플링(DOS)을 제안한다.
• 모든 데이터로 훈련된 참조 모델의 예측을 소프트 레이블로 사용하여 지식 전이를 안내하면서, MER를 적용하여 불확실한 예측에 대한 과도한 확신을 억제한다.
• 개별 샘플의 혼동 행동을 작업 전환 시점에 추적하는 샘플 다이내믹스(SD) 지표인 SDF(망각)와 SDI(고립)를 도입하여 성능 저하의 크기 불변성 및 비율 기반 측정을 가능하게 하며, 성능 저하의 정량적 평가를 가능하게 한다.
• 특정 작업에서 모든 클래스의 모든 데이터로 훈련된 참조 모델을 사용하여 소프트 레이블을 계산하고 샘플 수준의 혼동을 추적함으로써 망각 및 고립의 정밀한 평가를 가능하게 한다.
• MER와 DOS를 통합하여 안정성과 적응력을 동시에 최적화하는 통합 프레임워크인 MEDIC(MER 및 DOS를 위한 인크리멘탈 학습)를 제안한다.

실험 결과

연구 질문

• RQ1 기존 작업에서 전이된 불확실한 지식에 대한 과적합을 줄이기 위해 어떤 방법이 효과적인가?
• RQ2 드롭아웃 샘플링과 같은 자기 주도적 샘플링 전략이 새로운 클래스에 대한 학습 효율성 향상과 고립 감소에 얼마나 기여하는가?
• RQ3 샘플 수준의 혼동 동역학을 추적하는 새로운 평가 지표는 기존의 정확도 차이 기반 지표보다 망각과 고립을 더 신뢰성 있고 해석 가능한 방식으로 측정할 수 있는가?
• RQ4 제안된 MEDIC 방법은 극단적인 작업 순서(최고 순서 대 최악 순서)와 감소된 오래된 클래스 샘플의 메모리 예산 하에서 어떻게 성능을 발휘하는가?
• RQ5 MER와 DOS의 조합이 다양한 데이터셋과 인크리멘탈 학습 시나리오에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• MEDIC는 CIFAR100에서 49.88%의 top-1 정확도를 달성하여 이어지는 최고 성능 방법(EndtoEnd)보다 4.33%p 높게 기록했다.
• TinyImageNet에서는 MEDIC가 49.88%의 정확도를 기록하여 EWC(43.92%)와 EndtoEnd(45.55%)를 크게 앞서며 5%p 이상의 격차를 확보했다.
• MEDIC는 망각(F10)을 4.54로 낮추어 모든 방법 중에서 가장 낮았으며, 고립(I10)을 9.24로 낮춰 우수한 안정성과 적응력을 보였다.
• 제안된 SDF 및 SDI 지표는 기존 방법이 F10에서는 EWC보다 우수함에도 불구하고 SDI 및 SDF에서는 EWC보다 열 劣한 성능을 보여주어 기존 지표의 한계를 드러냈다.
• 감소된 메모리 예산 설정(오래된 클래스에 1,000개 샘플) 하에서 MEDIC는 성능 저하가 가장 적었으며, 자원 제약 조건 하에서도 강건성을 입증했다.
• 제거 분석 결과, MER와 DOS 모두 모든 지표에서 성능 향상에 기여하며, 특히 저예산 및 불확실한 지식 조건 하에서 MER가 특히 효과적임을 확인했다.