[논문 리뷰] Theory of Curriculum Learning, with Convex Loss Functions

Daphna Weinshall, Dan Amir|arXiv (Cornell University)|2018. 12. 09.

Machine Learning and Algorithms참고 문헌 12인용 수 5

한 줄 요약

이 논문은 각 예제에 대해 최적의 가설에 대한 손실로 정의된 이상의 난이도 점수를 통해 볼록 최적화에서 커리큘럼 학습을 위한 이론적 프레임워크를 제안한다. 선형 회귀와 힌지-손실 분류에서 수렴 속도가 전반적인 난이도에 대해 단조 감소하고 국소적 난이도(현재 가설에 대한 상대 손실)에 대해 증가함을 증명함으로써, 전반적 난이도와 국소적 난이도 점수의 명확한 이론적 구분을 통해 커리큘럼 학습과 하드 예제 마이닝 히وري스틱을 통합한다.

ABSTRACT

Curriculum Learning - the idea of teaching by gradually exposing the learner to examples in a meaningful order, from easy to hard, has been investigated in the context of machine learning long ago. Although methods based on this concept have been empirically shown to improve performance of several learning algorithms, no theoretical analysis has been provided even for simple cases. To address this shortfall, we start by formulating an ideal definition of difficulty score - the loss of the optimal hypothesis at a given datapoint. We analyze the possible contribution of curriculum learning based on this score in two convex problems - linear regression, and binary classification by hinge loss minimization. We show that in both cases, the expected convergence rate decreases monotonically with the ideal difficulty score, in accordance with earlier empirical results. We also prove that when the ideal difficulty score is fixed, the convergence rate is monotonically increasing with respect to the loss of the current hypothesis at each point. We discuss how these results bring to term two apparently contradicting heuristics: curriculum learning on the one hand, and hard data mining on the other.

연구 동기 및 목표

• 머신 러닝에서 커리큘럼 학습에 대한 이론적 분석 부족, 특히 볼凸 문제에 대해 해결하기 위해.
• 최적의 가설에 의한 손실을 기반으로 한 공식적이고 내재된 예제 난이도 측정 기준을 정의하기 위해.
• 예제를 난이도 순으로 샘플링하는 커리큘럼 학습이 선형 회귀와 힌지-손실 분류에서 수렴 속도에 어떻게 영향을 주는지 분석하기 위해.
• 커리큘럼 학습(쉬운 예제를 선호함)과 하드 예제 마이닝(어려운 예제를 선호함) 사이의 명백한 모순을 전반적 난이도와 국소적 난이도 점수의 차이를 통해 해결하기 위해.
• 실제 커리큘럼 스케줄링에서 전반적 난이도와 국소적 난이도 점수를 함께 사용하는 데 이론적 근거를 제공하기 위해.

제안 방법

• 각 예제에 대해 최적의 가설에 대한 손실로 정의된 이상의 난이도 점수(Ideal Difficulty Score, IDS)를 제안하여 전반적 난이도의 공식적 측정 기준으로 삼는다.
• IDS 기반의 다양한 샘플링 전략 하에서 확률적 경사 하강법(SGD)의 수렴 속도를 분석한다.
• 작은 학습률 근사(η² 항을 무시)를 사용하여 기대 수렴 속도 변화에 대한 해석적 표현을 유도한다.
• 국소적 난이도를 현재 가설이 예제에 대해 기록하는 손실로 정의하고, 이 값이 증가할수록 수렴 속도가 증가함을 보인다.
• 기하학적 및 적분 근사를 사용하여, 수렴 속도와 전반적(IFS) 및 국소적 난이도 점수 사이의 단조 관계를 유도하고 증명한다.
• 커리큘럼 스케줄링이 전반적 난이도와 국소적 난이도 점수의 조합에 의해 이끌릴 수 있는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 예제의 난이도가 최적의 가설에 대한 손실로 측정될 때, SGD의 수렴 속도는 어떻게 영향을 받는가?
• RQ2 전반적 난이도가 낮은 예제를 선호하는 커리큘럼 학습이 선형 회귀와 힌지-손실 분류와 같은 볼凸 문제에서 수렴을 가속화하는가?
• RQ3 왜 서로 모순처럼 보이는 방법들인 커리큘럼 학습과 하드 예제 마이닝이 실무에서 모두 잘 작동하는가?
• RQ4 국소적 난이도(현재 가설에 대한 손실)는 수렴 속도에 어떻게 영향을 주며, 전반적 난이도와 어떻게 상호작용하는가?
• RQ5 전반적 난이도와 국소적 난이도를 구분함으로써, 커리큘럼 학습과 하드 예제 마이닝의 성공을 통합적으로 설명할 수 있는 이론적 프레임워크를 만들 수 있는가?

주요 결과

• 선형 회귀와 힌지-손실 분류 모두에서, 기대 수렴 속도는 전반적 난이도 점수(즉, 높은 IDS는 느린 수렴을 유도함)가 증가할수록 단조 감소한다.
• 전반적 난이도 점수가 고정되어 있을 때, 수렴 속도는 국소적 난이도 점수(즉, 현재 모델이 잘 못하는 예제)가 증가할수록 단조 증가한다.
• 이론적 분석은 커리큘럼 학습(쉬운 예제를 선호함)이 볼凸 문제에서 수렴을 가속화할 수 있음을 확인하며, 이는 그 실용적 성공에 대한 이론적 근거를 제공한다.
• 커리큘럼 학습과 하드 예제 마이닝 사이의 명백한 모순은 전반적 난이도(고정된 예제당)와 국소적 난이도(현재 모델 기반으로 동적으로 변화함)의 차이를 통해 해결된다.
• 전반적 난이도와 국소적 난이도 점수가 높게 상관되어 있을 경우(예: 노이즈가 많은 데이터에서), 낮은 국소적 손실을 선호하는 방법(예: Self-Paced Learning)이 이론적으로 타당하다.
• 결과적으로 효과적인 커리큘럼 스케줄링은 초기 학습의 안정성과 후기 수렴 속도를 균형 있게 유지하기 위해 전반적 난이도와 국소적 난이도 점수를 모두 조합해야 한다고 제안한다.