[논문 리뷰] On Class Orderings for Incremental Learning

Marc Masana, Bartłomiej Twardowski외 1명|arXiv (Cornell University)|2020. 07. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 증분 학습을 위한 클래스 순서를 생성하기 위해 혼동 행렬 기반 방법을 제안하며, 시뮬레이티드 어닐링을 사용해 최소 및 최대 혼동 시퀀스를 생성한다. 결과적으로 클래스 순서가 모델 성능과 방법 순위에 상당한 영향을 미치며, 랜덤 순서가 종종 표준 분할보다 우수한 성능을 보여, 증분 학습 방법을 공정하게 평가하기 위해 다수의 순서에 걸쳐 견고한 평가가 필요하다는 점을 시사한다.

ABSTRACT

The influence of class orderings in the evaluation of incremental learning has received very little attention. In this paper, we investigate the impact of class orderings for incrementally learned classifiers. We propose a method to compute various orderings for a dataset. The orderings are derived by simulated annealing optimization from the confusion matrix and reflect different incremental learning scenarios, including maximally and minimally confusing tasks. We evaluate a wide range of state-of-the-art incremental learning methods on the proposed orderings. Results show that orderings can have a significant impact on performance and the ranking of the methods.

연구 동기 및 목표

• 기존 벤치마크가 고정되거나 랜덤 순서를 가정하지만 분석이 부족한 점을 감안해, 클래스 순서가 증분 학습 성능에 미치는 영향을 조사하기 위해.
• 혼동 행렬 분석을 기반으로 최소에서 최대 혼동에 이르는 다양한 순서를 체계적으로 생성하기 위한 방법을 개발하기 위해.
• 이러한 순서들에 대해 최신 증분 학습 방법을 평가하여 그 견고성과 비교의 공정성을 점검하기 위해.
• 랜덤 또는 표준 분할(예: iCaRL의 시드 기반 순서)이 신뢰할 수 있는 방법 비교를 위해 충분하다는 가정을 도전하기 위해.
• 증분 학습 벤치마킹에서 견고성과 공정성을 확보하기 위해 다중 순서 평가 프로토콜을 권장하기 위해.

제안 방법

• 사전에 훈련된 모델의 혼동 행렬을 기반으로 시뮬레이티드 어닐링 최적화를 통해 클래스 순서를 생성하며, 작업 간 누적 혼동을 최소화하거나 최대화한다.
• 이 방법은 랜덤, iCaRL의 고정 시드, minConf(최소 혼동), maxConf(최대 혼동)의 네 가지 유형의 순서를 생성하며, 이는 혼동 행렬 값에서 유도된다.
• 혼동은 혼동 행렬의 비대각선 항목으로 정의되며, 클래스를 재정렬하여 다양한 증분 학습 시나리오를 반영한다.
• 비용 함수는 작업 간 누적 혼동에 기반하며, 局부 최소값을 회피하기 위해 시뮬레이티드 어닐링을 사용한다.
• 모든 순서에 동일한 훈련 및 하이퍼파rameter 설정을 적용하기 위해 CIFAR-100에 대해 ResNet-32에 적용한다.
• 성능는 모든 작업에서의 평균 평균 정확도로 측정되며, 안정성을 확보하기 위해 다수의 랜덤 시드를 기반으로 결과를 집계한다.

실험 결과

연구 질문

• RQ1 클래스 순서의 선택이 CIFAR-100에서 증분 학습 방법의 성능에 어떤 영향을 미치는가?
• RQ2 혼동 행렬 기반 순서가 증분 학습 평가를 위한 의미 있는 체계적 변형(어려움의 변화)을 생성할 수 있는가?
• RQ3 최신 증분 학습 방법은 다양한 클래스 순서에 대해 얼마나 견고한가? 그리고 이는 상대적 순위에 영향을 미치는가?
• RQ4 일반적으로 사용되는 랜덤 또는 iCaRL 전용 클래스 순서는 대표적이거나 편향된 성능 추정을 제공하는가?
• RQ5 어려운 순서와 쉬운 순서를 체계적으로 생성하는 방법이 증분 학습 평가의 견고성을 향상시킬 수 있는가?

주요 결과

• minConf 순서(최소 혼동)는 모든 방법에서 가장 안정적이고 높은 성능를 보였으며, BiC 및 IL2M와 같은 예외 기반 방법에서 특히 두드러졌다.
• maxConf 순서(최대 혼동)는 특히 초기 작업에서 가장 낮은 성능를 보였고, 최종 정확도도 크게 감소시켜 어려운 평가 기준으로서의 역할을 확인시켰다.
• 예외 기반 방법이 아닌 방법들인 Fine-tuning 및 LwF의 경우, 랜덤 순서가 minConf와 유사한 성능를 보였으며, 이는 강력한 베이스라인일 수 있음을 시사한다.
• BiC 및 IL2M의 경우 순서 간 표준편차가 가장 낮았고 약 2.3이었으며, 이는 높은 견고성을 의미한다. 반면 LwF는 표준편차가 가장 높았고 약 3.6이었으며, 순서에 민감함을 보였다.
• 메서드 순위는 사용된 순서에 따라 달라졌다. 예를 들어, LUCIR은 maxConf에서 최고 성능를 보였고, BiC는 minConf에서 뛰어난 성능를 보였다. 이는 메서드 순위가 순서에 따라 안정적이지 않음을 보여준다.
• 한 메서드의 최고 순서와 최악 순서 간 성능 격차가 20퍼센트 포인트를 초과하는 경우가 있었으며, 이는 클래스 순서가 평가 결과에 미치는 결정적 영향을 강조한다.