[논문 리뷰] Flipped Classroom: Effective Teaching for Time Series Forecasting

Philipp Teutsch, Patrick Mäder|arXiv (Cornell University)|2022. 10. 17.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 시계열 예측에서 순차적-순차적 RNN을 훈련하기 위한 새로운 교육과정 학습(CL) 프레임워크를 제안하며, 노출 편향과 티처 포싱(TF) 및 프리런닝(FR) 훈련에서의 불안정성을 극복하기 위해 증가하는 훈련 규모와 확률적 반복 스케일 커리큘럼을 도입한다. 이 방법은 여섯 개인 혼돈 동역학계에서 NRMSE가 최대 81% 감소하고 예측 안정성이 향상되어 TF 및 FR를 일관되게 능가한다.

ABSTRACT

Sequence-to-sequence models based on LSTM and GRU are a most popular choice for forecasting time series data reaching state-of-the-art performance. Training such models can be delicate though. The two most common training strategies within this context are teacher forcing (TF) and free running (FR). TF can be used to help the model to converge faster but may provoke an exposure bias issue due to a discrepancy between training and inference phase. FR helps to avoid this but does not necessarily lead to better results, since it tends to make the training slow and unstable instead. Scheduled sampling was the first approach tackling these issues by picking the best from both worlds and combining it into a curriculum learning (CL) strategy. Although scheduled sampling seems to be a convincing alternative to FR and TF, we found that, even if parametrized carefully, scheduled sampling may lead to premature termination of the training when applied for time series forecasting. To mitigate the problems of the above approaches we formalize CL strategies along the training as well as the training iteration scale. We propose several new curricula, and systematically evaluate their performance in two experimental sets. For our experiments, we utilize six datasets generated from prominent chaotic systems. We found that the newly proposed increasing training scale curricula with a probabilistic iteration scale curriculum consistently outperforms previous training strategies yielding an NRMSE improvement of up to 81% over FR or TF training. For some datasets we additionally observe a reduced number of training iterations. We observed that all models trained with the new curricula yield higher prediction stability allowing for longer prediction horizons.

연구 동기 및 목표

• 시계열 예측에서 순차적-순차적 RNN에 대한 티처 포싱(TF)에서의 노출 편향과 프리런닝(FR) 훈련에서의 불안정성을 해결하기 위해.
• 훈련 안정성과 일반화를 체계적으로 균형 잡기 위해 훈련 스케일과 반복 스케일 스케줄을 조정하는 교육과정 학습(CL) 전략을 개발하기 위해.
• 혼돈 동역학계에서 유래한 도전적인 연속 시계열 데이터에서 새로운 커리큘럼의 효과를 평가하기 위해.
• NRMSE와 예측 수평 안정성 측면에서 CL 전략이 표준 TF 및 FR 기준선을 능가하는 조건을 규명하기 위해.
• 커리큘럼 파rametrization과 확률적 스케줄링이 수렴성과 강건성에 미치는 영향을 탐색하기 위해.

제안 방법

• 증가하는 훈련 규모 커리큘럼과 확률적 반복 스케일 커리큘럼이라는 두 가지 새로운 교육과정 학습 전략을 제안한다.
• CL-ITF-P와 CL-ITF-D를 도입하여 각각 기하분포와 결정적 감쇠를 사용해 티처 포싱 간격을 동적으로 조정한다.
• 시간이 지남에 따라 TF-간격을 줄이는 커리큘럼 함수를 활용하여, TF에서 FR으로 제어되고 점진적인 방식으로 전환한다.
• 로렌츠, 레스슬러 등과 같은 혼돈 동역학계에서 유래한 여섯 가지 벤치마크 데이터셋을 사용해 다양한 훈련 제도에서 모델 성능을 평가한다.
• 커리큘럼 속도를 제어하기 위해 추가로 하나의 하이퍼파ram터만 사용하여 일관된 성능 향상을 가능하게 한다.
• 다단계 예측 작업 전반에서 NRMSE와 예측 수평 안정성의 주요 평가 지표로 활용한다.

실험 결과

연구 질문

• RQ1 교육과정 학습 전략은 훈련 안정성을 희생시키지 않고도 RNN 기반 시계열 예측에서 노출 편향을 효과적으로 완화할 수 있는가?
• RQ2 증가하는 훈련 규모와 확률적 반복 스케일 커리큘럼은 NRMSE와 예측 안정성 측면에서 티처 포싱과 프리런닝 기준선과 비교해 어떻게 다른가?
• RQ3 커리큘럼 파rametrization은 혼돈 시계열에서 강건한 수렴성과 향상된 일반화를 달성하는 데 어떤 역할을 하는가?
• RQ4 어떤 데이터셋은 왜 TF에서 더 유리하고 다른 데이터셋은 왜 FR을 선호하는가? 통합된 커리큘럼 전략이 양자 모두를 능가할 수 있는가?
• RQ5 새로운 커리큘럼은 얼마나 더 긴 예측 수평에서 더 높은 정확성과 안정성을 달성할 수 있는가?

주요 결과

• 확률적 반복 스케일 스케줄링을 적용한 증가하는 훈련 규모 커리큘럼은 티처 포싱과 프리런닝 훈련을 일관되게 능가하며, 평균적으로 NRMSE가 최대 81% 감소한다.
• 새로운 커리큘럼으로 훈련된 모델은 더 긴 수평에서 예측 안정성이 크게 향상되어 장기 예측이 신뢰할 수 있게 된다.
• 일부 데이터셋에서는 새로운 커리큘럼이 훈련 반복 수를 줄여 더 빠른 수렴을 나타낸다.
• 확률적 변형(CL-ITF-P)은 기하분포에 기반한 TF-간격으로 인해 초기 훈련에서 더 큰 변동성을 보이지만, 전체적으로 뛰어난 성능 유지를 한다.
• 새로운 커리큘럼은 다양한 혼돈 동역학계에서 강건하며, 여섯 개의 모든 벤치마크 데이터셋에서 성능 향상이 관찰된다.
• 커리큘럼 속도를 제어하기 위해 추가로 하나의 하이퍼파ram터만 필요로 하여 통합 및 튜닝이 용이함을 보여준다.