[논문 리뷰] Incremental Sequence Learning

Edwin D. de Jong|arXiv (Cornell University)|2016. 11. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 9

한 줄 요약

이 논문은 RNN를 사용한 시계열 모델링을 위한 커리큘럼 학습 접근법인 증분 시계열 학습(ISL)을 제안한다. 이 방법은 먼저 짧은 시계열 접두어에서 학습을 시작하여 점차 길이를 늘리는 방식이다. ISL은 테스트 오차를 74% 감소시키며, 표준 시계열 학습의 성능을 평균 20배 빠르게 달성한다. 주로 시계열의 초기 부분에서 단계적으로 학습함으로써 RNN의 내부 표현 학습이 향상되기 때문이다.

ABSTRACT

Deep learning research over the past years has shown that by increasing the scope or difficulty of the learning problem over time, increasingly complex learning problems can be addressed. We study incremental learning in the context of sequence learning, using generative RNNs in the form of multi-layer recurrent Mixture Density Networks. While the potential of incremental or curriculum learning to enhance learning is known, indiscriminate application of the principle does not necessarily lead to improvement, and it is essential therefore to know which forms of incremental or curriculum learning have a positive effect. This research contributes to that aim by comparing three instantiations of incremental or curriculum learning. We introduce Incremental Sequence Learning, a simple incremental approach to sequence learning. Incremental Sequence Learning starts out by using only the first few steps of each sequence as training data. Each time a performance criterion has been reached, the length of the parts of the sequences used for training is increased. We introduce and make available a novel sequence learning task and data set: predicting and classifying MNIST pen stroke sequences. We find that Incremental Sequence Learning greatly speeds up sequence learning and reaches the best test performance level of regular sequence learning 20 times faster, reduces the test error by 74%, and in general performs more robustly; it displays lower variance and achieves sustained progress after all three comparison methods have stopped improving. The other instantiations of curriculum learning do not result in any noticeable improvement. A trained sequence prediction model is also used in transfer learning to the task of sequence classification, where it is found that transfer learning realizes improved classification performance compared to methods that learn to classify from scratch.

연구 동기 및 목표

• 커리큘럼 학습이 RNN의 시계열 학습 성능을 향상시키는지 조사하기.
• 다양한 증분 학습 전략이 시계열 예측 작업에서 효과적인지 평가하기.
• 관찰된 성능 향상이 RNN 내부 표현 학습 향상에서 기인하는지 분석하기.
• ISL로 학습된 모델을 활용한 시계열 예측에서 시계열 분류로의 전이 학습 탐색하기.
• MNIST 필기 숫자 스트로크 시계열을 사용해 시계열 학습 연구를 위한 재현 가능한 벤치마크 제공하기.

제안 방법

• 모델은 시계열의 점진적으로 긴 접두어에서 학습을 시작하여, 처음 몇 단계의 시퀀스만 사용한다.
• 성능 기준이 충족될 때만 학습 길이가 증가하여 복잡도를 높이기 전에 안정적인 학습을 보장한다.
• 시계열 예측 평가를 위해 숫자 스켈레톤에서 유도된 MNIST 숫자 필기 스트로크의 새로운 데이터셋을 사용한다.
• 두 가지 다른 커리큘럼 학습 방법과 표준 시계열 학습과의 비교를 수행한다.
• 시계열 분류 작업에 대한 전이 학습은 ISL로 학습된 시계열 예측 모델을 미세조정하여 수행한다.
• 아블레이션 연구를 통해 피드포워드 네트워크와 배치 크기의 변화를 고려하여 RNN 전용 시계열 기억 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 증분 시계열 학습은 표준 학습 대비 시계열 모델링에서 일반화 성능을 향상시키는가?
• RQ2 시계열의 초기 부분에서 먼저 학습하는 것이 RNN 표현 학습에 어떤 영향을 미치는가?
• RQ3 다른 커리큘럼 학습 전략도 제안된 ISL 방법과 유사한 향상을 가져오는가?
• RQ4 ISL로 학습된 시계열 예측 모델은 시계열 분류 작업으로 효과적으로 전이 가능한가?
• RQ5 RNN 메모리가 ISL에서 관찰된 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 증분 시계열 학습(ISL)은 표준 시계열 학습 대비 테스트 오차를 74% 감소시킨다.
• ISL은 평균적으로 표준 시계열 학습의 최고 성능 수준을 20배 빠르게 달성한다.
• 기타 방법이 정점에 도달한 후에도 ISL은 낮은 분산과 지속적인 성능 향상을 보인다.
• RNN 레이어를 피드포워드 네트워크로 교체하면 성능 우위가 사라지며, 이는 시계열 기억의 중요성을 입증한다.
• 배치 크기나 데이터 양 때문이 아니라 성능 향상이 발생함을 확인하였으며, 배치 크기를 늘려도 속도 향상은 줄었지만 사라지지 않았다.
• ISL로 학습된 모델을 사용한 전이 학습은 초기 학습 모델보다 분류 성능을 향상시킨다.