[논문 리뷰] Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation

Xinyu Chen, Mengying Lei외 2명|arXiv (Cornell University)|2021. 04. 30.

Tensor decomposition and applications참고 문헌 28인용 수 145

한 줄 요약

이 논문은 저랭크 자기회귀 텐서 완성(LATC)을 제안하며, 저랭크 텐서 완성에 자기회귀 모델링을 통합하여 시공간 교통 데이터 보간 성능을 향상시킨다. AR(p) 과정을 통해 시간적 동역학을 모델링하고, 잘라낸 핵노름을 사용해 저랭크 근사화함으로써 전반적인 패턴(예: 일일 유사성)과 국소적 시간적 일관성을 모두 포착한다. 실제 교통 데이터셋에서 다양한 부재 데이터 시나리오에 걸쳐 최신 기법들을 능가한다.

ABSTRACT

Spatiotemporal traffic time series (e.g., traffic volume/speed) collected from sensing systems are often incomplete with considerable corruption and large amounts of missing values, preventing users from harnessing the full power of the data. Missing data imputation has been a long-standing research topic and critical application for real-world intelligent transportation systems. A widely applied imputation method is low-rank matrix/tensor completion; however, the low-rank assumption only preserves the global structure while ignores the strong local consistency in spatiotemporal data. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework by introducing extit{temporal variation} as a new regularization term into the completion of a third-order (sensor $ imes$ time of day $ imes$ day) tensor. The third-order tensor structure allows us to better capture the global consistency of traffic data, such as the inherent seasonality and day-to-day similarity. To achieve local consistency, we design the temporal variation by imposing an AR($p$) model for each time series with coefficients as learnable parameters. Different from previous spatial and temporal regularization schemes, the minimization of temporal variation can better characterize temporal generative mechanisms beyond local smoothness, allowing us to deal with more challenging scenarios such "blackout" missing. To solve the optimization problem in LATC, we introduce an alternating minimization scheme that estimates the low-rank tensor and autoregressive coefficients iteratively. We conduct extensive numerical experiments on several real-world traffic data sets, and our results demonstrate the effectiveness of LATC in diverse missing scenarios.

연구 동기 및 목표

• 지능형 교통 시스템에서 부재하거나 손상된 시공간 교통 데이터 문제를 해결하기 위해.
• 기존의 저랭크 행렬/텐서 완성 기법이 국소적 시간적 일관성과 생성 동역학을 忽시하는 한계를 극복하기 위해.
• 교통 시간 시리즈에서 전반적인 저랭크 구조와 국소적 시간적 의존성을 모두 모델링하는 통합 프레임워크를 개발하기 위해.
• 랜덤, 비랜덤, 블랙아웃 부재성 등 다양한 부재 데이터 패턴에서도 정확한 보간을 가능하게 하기 위해.
• 학습 가능한 자기회귀 계수와 잘라낸 핵노름을 사용해 인자분해 기반 모델의 랭크에 종속되지 않는 강건한 대안을 제공하기 위해.

제안 방법

• 시공간 교통 데이터를 제3차 텐서(센서 × 일일 시간대 × 일)로 표현하여 일일 유사성과 전반적 구조를 더 잘 포착한다.
• 사전에 랭크 파rameter를 정의할 필요 없이 저랭크 근사화를 위해 잘라낸 핵노름을 사용한다.
• 시간적 변동성을 AR(p) 모델 기반 정규화 항으로 도입하며, 계수는 데이터로부터 학습하여 시간적 생성 메커니즘을 모델링한다.
• 잘라낸 핵노름을 통한 텐서의 저랭크성과 AR 예측 오차의 합으로 구성된 목적 함수를 구성한다.
• 교차 최소화 알고리즘을 적용: 텐서 업데이트에는 ADMM를, 자기회귀 계수 추정에는 닫힌 형태의 최소제곱법을 사용한다.
• 시간 시리즈를 행렬로 전개하고 각 센서별로 AR(p) 모델링을 적용하여 단순 매끄러움을 초월한 국소적 시간적 일관성을 강화한다.

실험 결과

연구 질문

• RQ1 저랭크 텐서 완성에 자기회귀 모델링을 통합하면 시공간 교통 데이터의 보간 정확도가 향상되는가?
• RQ2 제안된 LATC 모델은 랜덤, 비랜덤, 블랙아웃 부재성 등 다양한 부재 데이터 패턴에서 어떻게 성능을 발휘하는가?
• RQ3 AR(p)를 통한 시간적 생성 메커니즘 모델링은 저랭크 구조나 국소적 매끄러움에만 의존하는 것보다 더 나은 보간 성능을 낼 수 있는가?
• RQ4 실제 교통 데이터셋에서 MAPE 및 RMSE 측면에서 LATC는 최신 기반의 행렬 및 텐서 완성 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 보간 외에도 부재 데이터 조건 하에서 예측에 적용될 수 있는가?

주요 결과

• LATC는 네 개의 실제 교통 데이터셋에서 모든 부재 데이터 시나리오에서 가장 낮은 MAPE와 RMSE를 기록하며, LAMC, LRTC-TNN, BTMF, SPC를 모두 능가한다.
• 항저우 지하철 승하차 수요 데이터셋에서 30% 랜덤 부재성 조건 하에 LATC는 5.71% MAPE와 2.54 RMSE를 기록했으며, LRTC-TNN(6.99/3.00)과 BTMF(7.54/3.27)를 모두 능가한다.
• 시애틀 고속도로 속도 데이터셋에서 30% 랜덤 부재성 조건 하에 LATC는 19.12% MAPE와 24.97 RMSE를 기록했으며, SPC(27.46/68.56)와 BTMF(25.61/77.00)보다 뚜렷이 우수하다.
• 포틀랜드 교통량 데이터셋에서 30% 블랙아웃 부재성(창고 길이 4) 조건 하에 LATC는 24.04% MAPE와 23.52 RMSE를 기록했으며, SPC(31.01/60.33)와 BTMF(27.85/25.68)를 모두 능가한다.
• LATC는 높은 부재 비율(최대 90%)에도 불구하고 모든 기준선보다 낮은 오차를 유지하며 뛰어난 강건성을 보이며, 비랜덤 및 블랙아웃 시나리오에서 尤히 두드러진다.
• 그림 5–7의 시각화 결과는 심각한 데이터 손실 조건에서도 LATC가 진짜 교통 패턴을 정확히 복원하며 희박한 관측치로부터 기저의 시간적 동역학을 학습함을 보여준다.