[논문 리뷰] Rethinking Curriculum Learning with Incremental Labels and Adaptive Compensation

Madan Ravi Ganesh, Jason J. Corso|arXiv (Cornell University)|2020. 01. 13.

Machine Learning and Data Classification참고 문헌 46인용 수 6

한 줄 요약

이 논문은 표본의 난이도가 아닌 레이블을 점진적으로 도입하는 새로운 커리큘럼 학습 방법인 LILAC을 제안한다. 두 단계로 구성된다: (1) 점진적 레이블 도입 — 지도 레이블을 고정된 배치로 점진적으로 공개하면서 미리 보지 않은 클래스에 대해 의사 레이블을 사용하고, (2) 적응형 보정 — 이전에 잘못 분류된 샘플의 타깃 벡터를 부드럽게 조정하여 과신을 줄인다. LILAC은 CIFAR-10, CIFAR-100, STL-10 벤치마크에서 배치 학습 및 기존의 커리큘럼 학습 및 레이블 스무딩 방법보다 뛰어난 성능을 기록한다.

ABSTRACT

Like humans, deep networks have been shown to learn better when samples are organized and introduced in a meaningful order or curriculum. Conventional curriculum learning schemes introduce samples in their order of difficulty. This forces models to begin learning from a subset of the available data while adding the external overhead of evaluating the difficulty of samples. In this work, we propose Learning with Incremental Labels and Adaptive Compensation (LILAC), a two-phase method that incrementally increases the number of unique output labels rather than the difficulty of samples while consistently using the entire dataset throughout training. In the first phase, Incremental Label Introduction, we partition data into mutually exclusive subsets, one that contains a subset of the ground-truth labels and another that contains the remaining data attached to a pseudo-label. Throughout the training process, we recursively reveal unseen ground-truth labels in fixed increments until all the labels are known to the model. In the second phase, Adaptive Compensation, we optimize the loss function using altered target vectors of previously misclassified samples. The target vectors of such samples are modified to a smoother distribution to help models learn better. On evaluating across three standard image benchmarks, CIFAR-10, CIFAR-100, and STL-10, we show that LILAC outperforms all comparable baselines. Further, we detail the importance of pacing the introduction of new labels to a model as well as the impact of using a smooth target vector.

연구 동기 및 목표

• 기존 커리큘럼 학습의 한계를 해결하기 위해, 표본의 난이도에 따라 샘플을 도입하고 훈련 데이터를 부분적으로만 사용하는 방식을 제안하고자 한다. 본 연구는 훈련 전반에 걸쳐 모든 데이터를 사용하는 방법을 제안한다.
• 표본 난이도에서 레이블 점진적 도입으로 커리큘럼 학습 철학을 재고함으로써 모델의 일반화 능력을 향상시키고자 한다.
• 이전 모델 예측 기반으로 잘못 분류된 샘플의 타깃 벡터를 부드럽게 조정하는 적응형 보정을 도입함으로써 표현 학습을 향상시키고자 한다.
• 점진적 레이블 도입과 적응형 보정이 함께 작용할 경우, 배치 학습, 커리큘럼 학습, 레이블 스무딩과 비교해 뛰어난 성능을 내는지 입증하고자 한다.

제안 방법

• 이 방법은 두 단계인 점진적 레이블 도입(IL)과 적응형 보정(AC)을 도입한다.
• IL 단계에서는 데이터가 지도 레이블(GT) 집합과 나머지 데이터 집합으로 분할되며, 나머지 데이터에는 의사 레이블(ρ)이 할당되어 부정적 샘플로 사용된다.
• 새로운 GT 레이블은 시간이 지남에 따라 고정된 간격으로 공개되며, 이는 모델이 한 번에 하나의 클래스만 학습하면서도 모든 이용 가능한 데이터를 활용할 수 있도록 한다.
• AC 단계에서는 이전 버전의 네트워크가 훈련 샘플을 분류한다. 만약 샘플이 잘못 분류되면, 그 타깃 벡터는 과신을 줄이기 위해 더 부드러운 분포로 대체된다.
• 부드러움은 하이퍼파라미터가 제어하는 파rametric 타깃 벡터를 통해 구현되며, 이는 예측된 클래스에 더 높은 확률을 할당하고 다른 클래스로도 확률을 분배함으로써 이루어진다.
• 이 방법은 외부 난이도 평가를 피하고 훈련 전반에 걸쳐 전체 데이터를 활용함으로써 계산 오버헤드를 줄이고 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 표본 난이도가 아닌 레이블의 점진적 도입이 더 나은 모델 성능을 이끌어내는가?
• RQ2 잘못 분류된 샘플에 대해 타깃 벡터를 부드럽게 조정하는 적응형 보정이 일반화 능력과 표현 품질을 향상시키는가?
• RQ3 레이블 도입의 속도가 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ4 점진적 레이블 학습과 적응형 보정을 결합했을 때, 표준 배치 학습 및 기존의 커리큘럼 또는 레이블 스무딩 방법보다 얼마나 뛰어난 성능을 내는가?

주요 결과

• LILAC는 CIFAR-10에서 최고 성능을 기록하며, 배치 학습 및 기존의 커리큘럼 및 레이블 스무딩 방법을 모두 능가한다.
• CIFAR-100에서는 73.57 ± 0.963의 top-1 정확도를 기록하여, 배치 학습 기반 베이스라인을 크게 앞서 간다.
• AC 없이 IL 단계만 존재하는 경우에도 배치 학습보다 성능 향상이 이루어지며, 이는 점진적 레이블 학습이 표현 학습을 향상시킨다는 것을 시사한다.
• 적응형 보정은 Only IL 기반 베이스라인 대비 측정 가능한 성능 향상을 이끌어내며, 모든 벤치마크에서 LILAC이 최종 정확도에서 이를 뛰어넘는다.
• 최적의 스무딩 하이퍼파라미터 ε = 0.5는 CIFAR-10에서 95.38 ± 0.135의 top-1 정확도를 기록하며 최고 성능을 내며, 극단적인 값들(예: ε = 0.2 또는 0.7)은 성능 저하를 초래한다.
• 결과는 IL 단계에서 간격당 소수의 새로운 레이블(예: m = 1 또는 2)을 도입할 경우 더 뛰어난 성능을 내며, 이는 속도 조절의 중요성을 강조한다.