[논문 리뷰] Curriculum Learning by Transfer Learning: Theory and Experiments with Deep Networks

Daphna Weinshall, Gad Cohen외 1명|arXiv (Cornell University)|2018. 02. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 78

한 줄 요약

이 논문은 커리큘럼 학습이 convex 선형 회귀에서 SGD의 수렴 속도를 높이는 이론적 분석을 제시하고, 심층 네트워크를 통해 전이 기반 커리큘럼 일정이 초기 학습 속도를 개선하고 더 어려운 작업이나 강력한 정규화 하에서 일반화 향상 가능성을 보인다.

ABSTRACT

We provide theoretical investigation of curriculum learning in the context of stochastic gradient descent when optimizing the convex linear regression loss. We prove that the rate of convergence of an ideal curriculum learning method is monotonically increasing with the difficulty of the examples. Moreover, among all equally difficult points, convergence is faster when using points which incur higher loss with respect to the current hypothesis. We then analyze curriculum learning in the context of training a CNN. We describe a method which infers the curriculum by way of transfer learning from another network, pre-trained on a different task. While this approach can only approximate the ideal curriculum, we observe empirically similar behavior to the one predicted by the theory, namely, a significant boost in convergence speed at the beginning of training. When the task is made more difficult, improvement in generalization performance is also observed. Finally, curriculum learning exhibits robustness against unfavorable conditions such as excessive regularization.

연구 동기 및 목표

• 인간 학습 및 prior work에서 영감을 받은 구조화된 학습 패러다임으로서 커리큘럼 학습의 동기를 제시한다.
• 볼록 선형 회귀에 대한 이론적 분석을 통해 확률적 커리큘럼 학습의 수렴 이점을 확립한다.
• 사전 학습된 분류기의 신뢰도를 이용해 학습 예제를 순위를 매기는 전이 기반 커리큘럼 방법을 제안한다.
• 복잡한 설정에서 더 빠른 초기 수렴과 잠재적 일반화 이점이 있음을 보여주며 심층 네트워크에서의 접근법을 실증적으로 검증한다.

제안 방법

• 훈련 점의 이상난이도 점수를 최적 분류기에 대한 손실로 정의한다.
• Stochastic Curriculum Learning (SCL)을 구성하여 쉬운 예제를 초기에 편향 샘플링하고 점진적으로 그 편향을 완화한다.
• 선형 회귀 손실에 대한 SGD를 분석하여 더 쉬운 샘플의 수렴 속도가 단조롭게 빠르며, 특정 스텝 사이즈 조건하에서 현재 손실이 더 큰 경우에도 더 빠르다는 것을 보인다.
• 더 큰 사전 학습된 네트워크의 마진을 분류기의 난이도 추정으로 사용하여 예제를 난이도로 순위를 매기는 커리큘럼 방법을 제안한다.
• 두 가지 스케줄링 변형을 탐구한다: 고정형(점진적으로 더 어려운 예제를 포함)과 적응형(현 손실에 따라 스텝 길이가 달라짐).
• CNN 두 가지 아키텍처(Large와 Small)와 데이터셋 CIFAR-100, STL-10에서 커리큘럼, 무작위 순위, 반 커리큘럼, 베이스라인 비커리큘럼 학습을 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 볼록 선형 회귀의 SGD에서 이론적으로 수렴 속도를 가속하는가?
• RQ2 전이 기반의 학습 예제 순위가 이상적인 커리큘럼을 근사하고 심층 네트워크 학습을 가속할 수 있는가?
• RQ3 특히 어려운 작업, 작은 모델 또는 강한 정규화 하에서 커리큘럼 스케줄링이 일반화에 어떤 영향을 미치는가?
• RQ4 전 humans가 제공한 난이도보다 사전 학습된 모델에서 유도된 난이도 순위가 학습에 이로운가?
• RQ5 고정형과 적응형 스케줄링 전략이 서로 다른 실험적 결과를 낳는가?

주요 결과

• 이론적으로 기대 수렴 속도는 샘플의 난이도 점수에 따라 단조롭게 감소하므로 더 쉬운 샘플이 더 빠른 수렴을 유도한다.
• 적정 학습률에서 커리큘럼 샘플링을 사용할 때 학습 초기에 수렴 속도가 증가한다.
• 실험적으로 심층 네트워크에서 더 쉬운 예제의 그래디언트가 학습 시작 시 실제 그래디언트와 더 잘 정렬되며, 여러 에포크 이후 이 정렬이 개선된다.
• 사전 학습 모델의 마진을 난이도 추정으로 사용하는 전이 기반 커리큘럼은 초기 학습 속도를 더 빠르게 하고 어려운 작업, 더 작은 네트워크, 혹은 더 강한 정규화 아래 일반화 향상을 가져올 수 있다.
• 커리큘럼 학습은 지나친 정규화와 같은 불리한 조건에 대한 강인성을 보여주며 특정 설정에서 반 커리큘럼 및 무작위 순위 제어보다 이를 능가할 수 있다.
• 이 방법은 CIFAR-100과 STL-10에서 컨트롤 대비 초기 학습 속도 증가와 잠재적 일반화 이점을 일관되게 보여준다.