[논문 리뷰] Structured Time Series Prediction without Structural Prior

Darko Drakulić, Jean‐Marc Andreoli|arXiv (Cornell University)|2022. 02. 07.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 구조적 사전 지식(예: 그래프)에 의존하지 않는 데이터 기반의 주의 기반 모델인 ADN을 제안한다. 공간적 및 시간적 차원에 대한 학습 가능한 멀티헤드 어텐션을 활용함으로써, 적은 데이터로도 최첨단 성능을 달성하고, 누락된 데이터 처리 및 소수의 샘플을 통한 도메인 적응에서 그래프 기반 모델을 능가한다. 특히 두 날 동안의 피니테이닝 데이터만으로도 성능을 빠르게 향상시킨다.

ABSTRACT

Time series prediction is a widespread and well studied problem with applications in many domains (medical, geoscience, network analysis, finance, econometry etc.). In the case of multivariate time series, the key to good performances is to properly capture the dependencies between the variates. Often, these variates are structured, i.e. they are localised in an abstract space, usually representing an aspect of the physical world, and prediction amounts to a form of diffusion of the information across that space over time. Several neural network models of diffusion have been proposed in the literature. However, most of the existing proposals rely on some a priori knowledge on the structure of the space, usually in the form of a graph weighing the pairwise diffusion capacity of its points. We argue that this piece of information can often be dispensed with, since data already contains the diffusion capacity information, and in a more reliable form than that obtained from the usually largely hand-crafted graphs. We propose instead a fully data-driven model which does not rely on such a graph, nor any other prior structural information. We conduct a first set of experiments to measure the impact on performance of a structural prior, as used in baseline models, and show that, except at very low data levels, it remains negligible, and beyond a threshold, it may even become detrimental. We then investigate, through a second set of experiments, the capacity of our model in two respects: treatment of missing data and domain adaptation.

연구 동기 및 목표

• 다양한 변수 시간 시계열 예측에서 수작업으로 만든 그래프와 같은 구조적 사전 지식의 한계를 해결하기 위해, 이는 성능 향상과 일반화 능력 향상에 악영향을 미칠 수 있다.
• 공간적 또는 시간적 관계에 대한 사전 지식 없이도 데이터에서만 의존하는 상호의존성을 학습하는 모델을 개발하기 위해.
• 구조적 사전 지식이 모델 성능에 미치는 영향을 평가하고, 충분한 데이터가 확보된 경우 이러한 사전 지식이 오히려 해로울 수 있음을 입증하기 위해.
• 모델이 누락된 데이터를 다룰 때의 강건성과 소수의 레이블 데이터로 새로운 도메인에 일반화할 수 있는 능력을 조사하기 위해.

제안 방법

• ADN 모델은 표준 인코더-디코더 아키텍처를 사용하며, 이벤트 그리드(위치 × 시간 포인트)의 공간적 및 시간적 차원에 대해 순차적으로 멀티헤드 어텐션 메커니즘을 적용한다.
• 어텐션은 텐서 차원을 재구성함으로써 적용되며, 공간적(N) 및 시간적(T) 차원이 번갈아가며 배치 차원(B)에 통합되어 각 차원에 대해 독립적으로 어텐션을 적용할 수 있도록 한다.
• 모델은 위치 인코딩을 사용하지 않으며, 디코더의 자기어텐션에서 인과적 마스크를 통해 시간 순서를 강제함으로써 예측이 과거 이벤트에만 의존하도록 보장한다.
• 도메인 적응을 위해, 타겟 도메인의 위치 임베딩만 재학습하고, 나머지 모든 파라미터(어텐션 가중치 및 시간 임베딩 포함)는 고정된 상태로 유지한다.
• 모델는 구조에 대한 유도적 편향 없이, 짧은 예측 작업에 표준 회귀 손실을 사용해 엔드 투 엔드로 훈련된다.
• 아키텍처는 경량이며 완전히 미분 가능하므로, 소규모 타겟 도메인 데이터에서 효율적인 피니테이닝이 가능하다.

실험 결과

연구 질문

• RQ1 충분한 훈련 데이터가 확보된 경우, 구조적 사전 지식(예: 그래프)의 사용이 시간 시계열 예측 성능을 크게 향상시키는가?
• RQ2 어떤 구조적 사전 지식도 없는 데이터 기반 모델이 최첨단 모델보다 성능을 동등하거나 초월할 수 있는가?
• RQ3 제안된 모델은 다변량 시간 시계열에서 누락된 데이터를 얼마나 잘 처리하는가?
• RQ4 최소한의 타겟 도메인 레이블 데이터로 새로운 도메인에 얼마나 잘 일반화되는가?
• RQ5 명시적인 위치 인코딩 없이도 모델이 주기적인 일일 리듬과 같은 시간 패턴을 학습할 수 있는가?

주요 결과

• 구조적 사전 지식에 의존하는 모델의 성능은 일정 데이터 기준을 초과하면 떨어지거나 해로워지며, 이는 데이터가 풍부한 경우 이러한 사전 지식이 필수적이지 않음을 시사한다.
• ADN은 어떠한 구조적 사전 지식 없이도 STGAT와 같은 그래프 기반 모델과 비교해 유사하거나 더 뛰어난 성능을 달성하며, 특히 소수의 타겟 도메인 데이터로 피니테이닝한 경우 두드러진 성능 향상을 보인다.
• 단 두 날의 피니테이닝 데이터만으로도 ADN은 피니테이닝 없이도 성능을 내는 STGAT의 성능을 따라잡고, 그 이상으로도 향상된다.
• 위치 인코딩 없이도 어텐션 메커니즘만으로 시간 순서를 추론함으로써 주기적인 일일 패턴의 특성을 학습한다.
• 도메인 적응에서 타겟 도메인의 위치 임베딩만 재학습하면 되므로, 최소한의 파라미터 업데이트로 효율적이고 효과적인 전이가 가능하다.
• ADN은 고정된 그래프 구조에 의존하지 않고 관측된 데이터 패턴에서 직접 상관관계를 학습함으로써, 누락된 데이터 처리에서 뛰어난 강건성을 보였다.