[논문 리뷰] Automated Curriculum Learning for Neural Networks

Alex Graves, Marc G. Bellemare외 3명|arXiv (Cornell University)|2017. 04. 10.

Machine Learning and Algorithms참고 문헌 27인용 수 39

한 줄 요약

이 논문은 실시간 학습 진전 신호를 기반으로 동적으로 학습 과제를 선택하기 위해 비정상적인 다중 손잡이 밴딧을 사용하는 자동화된 커리큘럼 학습 방법을 제안한다. 이는 예측 성과 또는 복잡성 성과를 최대화하는 과제에 집중하여, 일부 경우에서 학습 시간을 절반으로 줄일 정도로 LSTM 학습을 크게 가속화한다.

ABSTRACT

We introduce a method for automatically selecting the path, or syllabus, that a neural network follows through a curriculum so as to maximise learning efficiency. A measure of the amount that the network learns from each data sample is provided as a reward signal to a nonstationary multi-armed bandit algorithm, which then determines a stochastic syllabus. We consider a range of signals derived from two distinct indicators of learning progress: rate of increase in prediction accuracy, and rate of increase in network complexity. Experimental results for LSTM networks on three curricula demonstrate that our approach can significantly accelerate learning, in some cases halving the time required to attain a satisfactory performance level.

연구 동기 및 목표

• 신경망 학습에서 수작업으로 설계된 커리큘럼의 비효율성과 하이퍼파라미터 민감성 문제를 해결하기 위해.
• 과제 선택을 확률적 정책 최적화 문제로 간주하여 자동으로 교과과정을 생성하기 위해.
• 내재된 진전 신호를 보상으로 사용하여 적응형 과제 선택을 위한 학습 효율성을 향상시키기 위해.
• 자동화된 교과과정이 암묵적인 과제 순서를 발견하고 더 빠른 수렴을 가능하게 하는지 평가하기 위해.
• 실시간 커리큘럼 적응에서 여러 학습 진전 신호(예: 예측 성과, 복잡성 성과)를 비교하기 위해.

제안 방법

• 각 과제를 '팔'로 간주하고 누적 학습 진전을 최대화하는 것을 목표로 하는 비정상적인 다중 손잡이 밴딧 문제로 커리큘럼 학습을 공식화한다.
• 순간적 진전 신호인 예측 성과와 최소 기술 길이 원칙에서 유도된 새로운 복잡성 성과를 밴딧의 보상으로 사용한다.
• 실시간 성능 피드백 기반으로 과제를 선택하는 확률적 정책을 학습하기 위해 맥락 기반 밴딧 알고리즘을 적용한다.
• 예측 성과는 모델이 향후 출력을 예측하는 능력 향상을 측정하는 데 사용하고, 복잡성 성과는 네트워크 가중치에 인코딩된 효과적 정보의 증가를 측정한다.
• 학습 중에 동적으로 교과과정을 조정하여 네트워크가 변화하는 학습 역학에 따라 초점을 전환할 수 있도록 한다.
• 소형 배치에서 진행 신호를 지속적으로 평가하여 과제 선택을 이끄는 동안 표준 최적화(예: RMSProp)를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 내재된 학습 진전 신호를 사용한 자동 교과과정 생성이 학습 속도와 최종 성능 측면에서 균일 샘플링 또는 수작업 커리큘럼 스케줄링보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 예측 성과, 자기 예측 성과, 또는 복잡성 성과 중에서 어떤 학습 진전 신호가 동적 커리큘럼에서 효율적인 과제 선택을 가장 효과적으로 이끄는가?
• RQ3 과제 난이도에 대한 사전 지식 없이도 암묵적인 과제 순서(예: 단순한 것에서 복잡한 것으로)를 발견할 수 있는가?
• RQ4 균일 샘플링과 비교할 때 자동 교과과정의 성능, 특히 샘플 효율성과 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ5 변분 추론 또는 최대우도 추정 훈련을 사용할 경우, 진전 신호가 커리큘럼 학습을 이끄는 데 있어 효용성이 영향을 받는가?

주요 결과

• 합성 시퀀스 커리큘럼에서 예측 성과(PG)와 기울기 변분 복잡성 성과(GVCG)가 학습을 크게 가속화하여 균일 샘플링 대비 최대 50%까지 학습 시간을 단축시켰다.
• 자동 교과과정은 짧고 반복성이 높은 시퀀스에서 시작하여 길고 반복성이 낮은 시퀀스로의 자연스러운 진행을 발견했으며, 난이도의 과제 차원을 분리했다.
• bAbI 데이터셋에서 PG와 GVCG 교과과정은 균일 샘플링보다 더 많은 과제(즉, <5% 오차 달성)를 더 빨리 완료했으며, PG는 가장 일관된 향상을 보였다.
• 시간 추론 및 경로 탐색과 같은 어려운 과제에서, 이 방법은 초기에 집중하고 완료될 때까지 지속적으로 집중함으로써 더 빠른 수렴을 가능하게 했다.
• 밴딧 기반 교과과정은 집중하지 않은 과제의 손실을 감소시켜, 모든 과제를 직접 방문할 필요 없이 효과적인 전이와 일반화를 달성했다.
• 균일 샘플링도 놀랍게 잘 수행되어, 빠르게 진전되는 과제들이 암묵적으로 실질적인 커리큘럼을 형성하고 있음을 시사하지만, 자동화된 방법은 불필요한 샘플을 피하기 때문에 더 높은 효율성을 달성한다.