[논문 리뷰] Few-shot Learning for Time-series Forecasting

Tomoharu Iwata, Atsutoshi Kumagai|arXiv (Cornell University)|2020. 09. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 12

한 줄 요약

이 논문은 소수의 지원 시계열 샘플만을 사용하여 새로운 타겟 작업에 적응할 수 있도록 순환 신경망과 주목성 메커니즘을 활용하는 소수 학습 방법을 제안한다. 다양한 소스 작업으로 훈련된 모델은 재훈련 없이 90개 데이터셋에서 최신 기술 성능을 달성하며, LSTM-MAML 및 LSTM-DI와 같은 기존 방법들을 효과적으로 능가한다. 이는 소수 학습 지원 세트에서 관련 패턴을 효과적으로 검색함으로써 달성된다.

ABSTRACT

Time-series forecasting is important for many applications. Forecasting models are usually trained using time-series data in a specific target task. However, sufficient data in the target task might be unavailable, which leads to performance degradation. In this paper, we propose a few-shot learning method that forecasts a future value of a time-series in a target task given a few time-series in the target task. Our model is trained using time-series data in multiple training tasks that are different from target tasks. Our model uses a few time-series to build a forecasting function based on a recurrent neural network with an attention mechanism. With the attention mechanism, we can retrieve useful patterns in a small number of time-series for the current situation. Our model is trained by minimizing an expected test error of forecasting next timestep values. We demonstrate the effectiveness of the proposed method using 90 time-series datasets.

연구 동기 및 목표

• 충분한 타겟 작업 데이터가 확보되지 않았을 때 예측 성능이 떨어지는 문제를 해결하기 위해.
• 모델을 각 새로운 작업에 대해 재훈련하지 않고도 소수 학습 적응을 가능하게 하기 위해.
• 최소한의 지원 데이터를 사용하여 다양한 시계열 역학을 일반화하는 메타학습 프레임워크를 개발하기 위해.
• 주목성 메커니즘을 통해 다수의 소스 작업 간 공유 패턴을 활용하여 예측 정확도를 향상시키기 위해.
• 실제 시계열 데이터셋 전반에 걸쳐 강건성과 효율성을 입증하기 위해.

제안 방법

• 모델은 타겟 작업의 소수의 지원 시계열을 인코딩하기 위해 이방향 LSTM을 사용한다.
• 쿼리 시계열은 별도의 LSTM을 통해 자신의 시간적 동역학을 포착한다.
• 주목성 메커니즘은 지원 표현에 대해 맥락 인식 가중치를 계산하여 예측을 위해 관련 패턴에 동적으로 주목한다.
• 최종 예측은 쿼리의 은닉 상태와 가중치가 적용된 지원 표현을 조합하여 생성된다.
• 다양한 소스 작업에 걸쳐 다음 단계 예측의 기대 테스트 오차를 최소화함으로써 모델을 엔드 투 엔드로 훈련시킨다.
• 주목성 메커니즘을 통해 가변 길이의 시계열과 다양한 크기의 지원 세트를 유연하게 처리할 수 있다.

실험 결과

연구 질문

• RQ1 소수의 예시만을 사용하여 새로운 작업에서 미래 시계열 값을 예측할 수 있는가?
• RQ2 표준 미세조정 또는 메타특징 기반 방법과 비교해 주목성 메커니즘이 소수 학습 시계열 예측에 어떻게 향상되는가?
• RQ3 재훈련 없이 다양한 시계열 역학(예: 추세, 주기)에 일반화되는가?
• RQ4 훈련 작업 수와 지원 세트 크기가 증가함에 따라 성능은 어떻게 변화하는가?
• RQ5 실제 세계의 시계열 데이터셋에서 기존의 소수 학습 및 제로샷 예측 기준선을 능가할 수 있는가?

주요 결과

• 제안된 방법은 90개 데이터셋 중 62개에서 최상의 기준선과 통계적으로 유의미한 차이가 없었으며, 비교된 모든 방법 중 가장 높은 성능를 기록했다.
• 모든 90개 데이터셋에서 LSTM-MAML 및 LSTM-DI를 초월했으며, 평균 제곱근 오차(RMSE)는 각각 0.285, 0.312, 0.387을 기록했다.
• 다양한 지원 세트 크기 조건에서도 저오차를 유지했고, 지원 크기가 증가할수록 일관된 향상이 있었으며, 모든 설정에서 LSTM-MAML를 능가했다.
• 금융, 에너지, 교통, 센서 데이터를 포함한 다양한 시계열 유형에서 강건성을 입증했으며, 일관된 성능 향상이 관찰되었다.
• 훈련 및 추론 시간이 효율적이었으며, 제안된 방법은 훈련에 40,203초, 테스트 작업당 15초가 소요되었으며, 둘 다 LSTM-MAML를 능가했다.
• 시각화 결과는 소수의 지원 예제만으로도 다양한 역학(예: 추세, 주기성)을 정확히 포착함을 확인했다.