[논문 리뷰] A Multi-view Multi-task Learning Framework for Multi-variate Time Series Forecasting

Jinliang Deng, Xiusi Chen외 3명|arXiv (Cornell University)|2021. 09. 02.

Time Series Analysis and Forecasting참고 문헌 37인용 수 10

한 줄 요약

이 논문은 다변량 시계열(MTS) 예측을 위한 다중 시점 다중 작업(MVMT) 학습 프레임워크를 제안한다. 이 프레임워크는 시공간적 시점과 시간적 시점을 활용하여 예측을 작업별 하위 문제로 분해한다. 사전 지식을 반영한 작업별 정규화 및 애핀 변환을 적용함으로써 표현의 구분 능력을 향상시켜, 세 개의 실세계 데이터셋에서 예측 정확도와 효율성을 모두 향상시킨다.

ABSTRACT

Multi-variate time series (MTS) data is a ubiquitous class of data abstraction in the real world. Any instance of MTS is generated from a hybrid dynamical system and their specific dynamics are usually unknown. The hybrid nature of such a dynamical system is a result of complex external attributes, such as geographic location and time of day, each of which can be categorized into either spatial attributes or temporal attributes. Therefore, there are two fundamental views which can be used to analyze MTS data, namely the spatial view and the temporal view. Moreover, from each of these two views, we can partition the set of data samples of MTS into disjoint forecasting tasks in accordance with their associated attribute values. Then, samples of the same task will manifest similar forthcoming pattern, which is less sophisticated to be predicted in comparison with the original single-view setting. Considering this insight, we propose a novel multi-view multi-task (MVMT) learning framework for MTS forecasting. Instead of being explicitly presented in most scenarios, MVMT information is deeply concealed in the MTS data, which severely hinders the model from capturing it naturally. To this end, we develop two kinds of basic operations, namely task-wise affine transformation and task-wise normalization, respectively. Applying these two operations with prior knowledge on the spatial and temporal view allows the model to adaptively extract MVMT information while predicting. Extensive experiments on three datasets are conducted to illustrate that canonical architectures can be greatly enhanced by the MVMT learning framework in terms of both effectiveness and efficiency. In addition, we design rich case studies to reveal the properties of representations produced at different phases in the entire prediction procedure.

연구 동기 및 목표

• 비정상적이고 복잡한 다변량 시계열에서 알려지지 않은 혼합 동역학을 예측하는 데 도전하는 것.
• 기존 모델에서 일반적으로 미사용되는 MTS 데이터 내 숨겨진 다중 시점 다중 작업(MVMT) 구조를 활용하는 것.
• 작업별 특성 운영을 통해 내부 작업 유사성과 외부 작업 구별 능력을 명시적으로 모델링하여 예측 성능을 향상시키는 것.
• 특징 공간 내에서 내부 작업 상관관계를 강화하고 외부 작업 상관관계를 약화시켜 표현 학습을 향상시키는 것.

제안 방법

• 프레임워크는 두 가지 핵심 연산을 도입한다: 시점(공간 또는 시간)에서 파생된 각 작업에 적용되는 작업별 애핀 변환과 작업별 정규화.
• 작업은 공통 외부 속성(예: 시간대(시간적 시점) 또는 지리적 지역(공간적 시점))을 기반으로 정의되며, 유사한 동역학을 가지는 데이터를 그룹화한다.
• 이 연산들은 기존의 딥러닝 아키텍처(예: Wavenet, Transformer)에 통합되며 구조적 개편 없이 플러그인 방식으로 확장 가능하다.
• 사전 지식(예: 일일 주기성)을 활용하여 작업 분할을 이끌고 표현 품질을 향상시킨다.
• 주성분 분석(PCA)을 사용하여 강화된 표현이 더 강한 내부 작업 상관관계와 더 약한 외부 작업 상관관계를 가지는지 시각화하고 검증한다.
• 프레임워크는 탄력적이고 확장 가능하며, 응용 분야에 따라 추가 시점을 통합할 수 있다.

Figure 1: NYC shared bike demand.

실험 결과

연구 질문

• RQ1 다변량 시계열 내 숨겨진 다중 시점 다중 작업 구조를 효과적으로 파악하고 예측 향상에 활용할 수 있는가?
• RQ2 작업별 정규화 및 애핀 변환는 MTS 예측에서 표현 품질과 예측 성능 향상에 어느 정도 기여하는가?
• RQ3 MVMT 프레임워크는 다양한 실세계 데이터셋에서 표준 모델 대비 정확도와 효율성을 동시에 향상시키는가?
• RQ4 모델의 다양한 단계에서 학습된 표현은 내부 작업 및 외부 작업 상관관계 측면에서 어떻게 다를까?
• RQ5 복잡하고 비정상적인 동역학 하에서, 이 프레임워크는 척도 및 패턴 정보를 표현에서 유지할 수 있는가?

주요 결과

• MVMT 프레임워크는 세 개의 실세계 데이터셋에서 기준 모델 대비 높은 정확도와 더 빠른 수렴 속도를 보이며 예측 성능을 크게 향상시킨다.
• PCA를 활용한 사례 연구 결과, 강화된 모델은 가장 강한 내부 작업 상관관계와 가장 약한 외부 작업 상관관계를 가지는 표현을 생성함을 확인하여, 표현의 구분 능력 향상을 입증한다.
• 강화된 모델이 학습한 표현은 작업 내 패턴 유사성 뿐 아니라 척도 정보도 포함하고 있으며, 관측 크기 기반 재색상화 시각화를 통해 이를 확인할 수 있다.
• Wavenet 및 Transformer와 같은 전형적인 딥러닝 모델에 아키텍처 변경 없이도 효과를 높여주므로, 일반화 능력과 플러그인 호환성이 입증된다.
• 제안된 운영 방식은 주성분 분석에서 첫 몇 개 주성분이 설명하는 분산 비율을 통해 더 선형적이고 구조화된 표현 공간을 만들어내는 것으로 나타났다.
• 모델은 다양한 시간 예측 수준과 작업 그룹화에서 일관된 개선을 보이며 뛰어난 강건성과 효율성을 유지한다.

(a)