[논문 리뷰] When Do Curricula Work?

Xiaoxia Wu, Ethan Dyer외 1명|arXiv (Cornell University)|2020. 12. 05.

Machine Learning and Data Classification참고 문헌 64인용 수 7

한 줄 요약

이 논문은 여러 데이터셋과 학습 방식에서 교육 과정, 반-교육 과정, 무작위 교육 과정 스케줄을 체계적으로 평가함으로써 교육 과정 학습이 언제 모델 학습을 향상시키는지 조사한다. 연구 결과, 표준 전에포크 학습에서는 명시적 교육 과정이 유의미한 이점을 제공하지 않지만, 학습 시간이 제한되거나 레이블에 노이즈가 있을 경우에 그 성능 향상이 뚜렷하다는 것을 발견하였으며, 이는 교육 과정의 이점이 예제 순서 정렬 자체보다는 동적 데이터셋 크기 증가에 기인한다는 것을 보여준다.

ABSTRACT

Inspired by human learning, researchers have proposed ordering examples during training based on their difficulty. Both curriculum learning, exposing a network to easier examples early in training, and anti-curriculum learning, showing the most difficult examples first, have been suggested as improvements to the standard i.i.d. training. In this work, we set out to investigate the relative benefits of ordered learning. We first investigate the \emph{implicit curricula} resulting from architectural and optimization bias and find that samples are learned in a highly consistent order. Next, to quantify the benefit of \emph{explicit curricula}, we conduct extensive experiments over thousands of orderings spanning three kinds of learning: curriculum, anti-curriculum, and random-curriculum -- in which the size of the training dataset is dynamically increased over time, but the examples are randomly ordered. We find that for standard benchmark datasets, curricula have only marginal benefits, and that randomly ordered samples perform as well or better than curricula and anti-curricula, suggesting that any benefit is entirely due to the dynamic training set size. Inspired by common use cases of curriculum learning in practice, we investigate the role of limited training time budget and noisy data in the success of curriculum learning. Our experiments demonstrate that curriculum, but not anti-curriculum can indeed improve the performance either with limited training time budget or in existence of noisy data.

연구 동기 및 목표

• 다양한 데이터셋과 설정에서 교육 과정 학습이 모델 학습을 일관되게 향상시키는지 조사하기.
• 아키텍처와 학습 런 간에 일관된 예제 학습 순서가 존재하는지(일명 '암묵적 교육 과정') 확인하기.
• 표준 i.i.d. 학습과 비교하여 명시적 교육 과정(교육 과정, 반-교육 과정, 무작위 교육 과정)의 효과성 평가하기.
• 대규모 또는 노이즈가 많은 환경에서 교육 과정 학습이 측정 가능한 성능 우위를 제공하는 조건을 이해하기.

제안 방법

• 저자들은 ResNet-50를 사용하여 CIFAR-10, CIFAR-100, FOOD101, FOOD101N 네 가지 데이터셋에서 약 25,000개의 모델을 훈련시켰으며, 다양한 학습 스케줄을 적용하였다.
• 세 가지 학습 순서를 평가: 교육 과정(쉬운 것에서 어려운 것으로), 반-교육 과정(어려운 것에서 쉬운 것으로), 무작위 교육 과정(동적 데이터셋 크기 증가를 고려한 무작위 순서).
• 예제 순서와 학습 진행을 정의하기 위해 다양한 난이도 평가 함수와 패싱 함수(예: 선형, 지수함수)를 사용하였다.
• 세 가지 학습 제도에서 실험를 수행: 표준 전에포크 학습, 제한된 시간 학습(반복 횟수 감소), 노이즈 레이블 학습(레이블 오염).
• 성능은 테스트 정확도로 측정하였으며, 각 설정에서 3~72회의 독립 런을 통해 통계적 비교를 실시하여 신뢰성 확보.
• 학습 런과 아키텍처 간의 학습 순서 일관성 분석을 통해 암묵적 교육 과정 존재를 입증하였다.

실험 결과

연구 질문

• RQ1 다른 학습 런, 아키텍처, 작업 간에 예제가 일관된 순서로 학습되는가—즉, 암묵적 교육 과정이 존재하는가?
• RQ2 표준 전에포크 학습 환경에서 명시적 교육 과정 학습이 표준 i.i.d. 학습보다 일반화나 수렴 속도 향상에 기여하는가?
• RQ3 학습 시간이 제한되거나 레이블에 노이즈가 있을 경우, 교육 과정 학습이 성능 우위를 제공하는가?
• RQ4 교육 과정 학습의 이점은 예제 순서 정렬 때문인가, 아니면 동적 학습 세트 크기 증가 때문인가?
• RQ5 다양한 패싱 함수와 난이도 평가 방법이 교육 과정의 효과성에 어떤 영향을 미치는가?

주요 결과

• 암묵적 교육 과정 존재: 다양한 런, 아키텍처, 학습 방법 간에 예제는 매우 일관된 순서로 학습되며, 표본 난이도에 대한 안정적인 개념이 있음을 시사한다.
• 표준 전에포크 학습에서는 교육 과정, 반-교육 과정, 무작위 교육 과정이 표준 i.i.d. 학습과 거의 동일한 성능을 보이며, 명시적 순서 정렬의 유의미한 이점이 없음을 보여준다.
• 학습 시간 예산이 제한된 경우, 교육 과정 학습이 i.i.d., 반-교육 과정, 무작위 교육 과정 학습보다 유의미하게 뛰어나며, 시간 제약 조건 하에서 뚜렷한 우위를 보인다.
• 레이블 노이즈가 존재하는 상황에서는 교육 과정 학습이 다른 방법, 특히 표준 i.i.d. 학습보다도 견고한 성능 향상을 제공한다.
• 시간 제약 및 노이즈가 있는 환경에서 교육 과정 학습의 성능 향상은 예제 순서 정렬 자체보다는 동적 학습 세트 크기 증가 덕분에 주로 발생한다.
• 결과는 데이터셋 간 일반화 가능: 동일한 패턴이 CIFAR와 더 대규모의 FOOD101/FOOD101N 데이터셋 모두에서 유지된다.