[논문 리뷰] A Survey on Curriculum Learning

Xin Wang, Yudong Chen외 1명|arXiv (Cornell University)|2020. 10. 25.

Machine Learning and Data Classification참고 문헌 145인용 수 8

한 줄 요약

이 종합 검토는 기계 학습에서 커리큘럼 학습(Curriculum Learning, CL)에 대해 포괄적인 검토를 제공하며, 사전 정의된 및 자동 CL 방법을 체계화하기 위해 어려움 측정기 + 학습 스케줄러의 통합 프레임워크를 제안한다. 이는 시각, 자연어 처리, 강화 학습 분야에서 모델의 일반화 능력 향상과 수렴 속도 향상을 입증하며, 신경 기계 번역에서 최대 70% 빠른 학습과 BLEU 점수 2.2 포인트 향상을 기록한다.

ABSTRACT

Curriculum learning (CL) is a training strategy that trains a machine learning model from easier data to harder data, which imitates the meaningful learning order in human curricula. As an easy-to-use plug-in, the CL strategy has demonstrated its power in improving the generalization capacity and convergence rate of various models in a wide range of scenarios such as computer vision and natural language processing etc. In this survey article, we comprehensively review CL from various aspects including motivations, definitions, theories, and applications. We discuss works on curriculum learning within a general CL framework, elaborating on how to design a manually predefined curriculum or an automatic curriculum. In particular, we summarize existing CL designs based on the general framework of Difficulty Measurer+Training Scheduler and further categorize the methodologies for automatic CL into four groups, i.e., Self-paced Learning, Transfer Teacher, RL Teacher, and Other Automatic CL. We also analyze principles to select different CL designs that may benefit practical applications. Finally, we present our insights on the relationships connecting CL and other machine learning concepts including transfer learning, meta-learning, continual learning and active learning, etc., then point out challenges in CL as well as potential future research directions deserving further investigations.

연구 동기 및 목표

• 감독 학습, 약한 감독 학습, 비감독 학습 환경을 아우르는 커리큘럼 학습(CL) 방법론을 체계화하고 분류하기.
• 컴퓨터 비전, 자연어 처리, 강화 학습 등 다양한 응용 분야에서 CL이 모델의 일반화 능력 향상과 수렴 속도 향상에 어떻게 기여하는지 분석하기.
• 자동 CL의 네 가지 유형인 Self-paced Learning, Transfer Teacher, RL Teacher, 기타 자동 CL을 식별하고 비교하기.
• 이전 학습, 메타학습, 지속적 학습, 활동 학습과 같은 관련 개념들과의 관계를 명확히 하기.
• 주요 열린 과제를 도출하고 향후 연구 방향을 제안하기, 특히 벤치마크 개발, 이론적 기초, 더 넓은 응용 통합을 포함하여.

제안 방법

• 학습 예제의 복잡도에 따라 순위를 매기는 어려움 측정기와 점진적으로 더 어려운 샘플을 포함시키는 학습 스케줄러로 구성된 일반적인 CL 프레임워크를 제안한다.
• CL을 사전 정의된 유형과 자동 유형으로 분류하며, 자동 CL은 최적화 기반(Self-paced Learning), 지식 정제 기반(Transfer Teacher), 강화 학습 기반(RL Teacher), 기타 자동 CL로 추가로 분류한다.
• 어려움 측정기 + 학습 스케줄러 프레임워크의 관점에서 기존 CL 설계를 검토하며, 시간이 지남에 따라 데이터 분포 재가중의 중요성을 강조한다.
• CL의 이론적 기초를 분석하며, 효과성의 조건(예: 증가하는 데이터셋 크기와 어려움)을 논의하고 열린 이론적 질문을 제기한다.
• 활동 학습 및 메타학습과 같은 관련 개념과 비교하며, 동적 데이터 선택 메커니즘에서 공통점과 상호보완적 강점을 밝힌다.
• 향후 방법론적 방향으로는 벤치마크 알고리즘, 메타학습, 자동 커리큘럼 생성을 위한 초모수 최적화 통합을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 기계 학습 응용 분야에서 커리큘럼 학습을 하나의 프레임워크로 체계화하고 통합할 수 있는 방법은 무엇인가?
• RQ2 사전에 수작업으로 정의된 커리큘럼과 자동으로 생성된 커리큘럼 간의 주요 차이점과 설계 원리는 무엇인가?
• RQ3 표준적인 무작위 학습 대비 커리큘럼 학습이 모델 성능 향상과 학습 효율성 향상에 어떻게 기여하는가?
• RQ4 데이터 선택 및 학습 역학 측면에서 커리큘럼 학습은 활동 학습, 메타학습, 지속적 학습과 어떻게 유사하고 다를까?
• RQ5 벤치마크, 이론, 실세계 응용 확장성 측면에서 커리큘럼 학습의 주요 열린 과제는 무엇인가?

주요 결과

• 커리큘럼 학습은 다양한 도메인에서 모델 성능 향상과 수렴 속도 향상에 기여하며, 최대 70% 빠른 학습 시간과 신경 기계 번역에서 BLEU 점수 2.2 포인트 향상을 기록한다.
• 다중모态 이벤트 탐지에서 CL은 표준 배치 학습 대비 상대적 MAP 45.8% 향상과 빠른 수렴을 달성했다.
• CL은 강화 학습 에이전트가 기존에 비해 해결이 어려운 목표 지향적 작업을 성공적으로 해결하도록 가능하게 한다.
• Self-paced Learning, Transfer Teacher, RL Teacher와 같은 자동 CL 방법은 높은 잠재력을 보이지만, 통합된 이론적 보장과 표준화된 평가 체계가 부족하다.
• 일반적인 벤치마크가 표준 데이터셋, 평가 지표, 기준 커리큘럼을 갖추지 못해 CL 알고리즘 간 공정한 비교 및 평가가 어렵다.
• CL의 이론적 이해는 여전히 제한되어 있으며, 특히 다양한 데이터 분포와 작업 목표 하에서 증가하는 데이터셋 크기, 분산, 어려움의 영향을 규명하는 데 있어 열린 질문이 많다.