[논문 리뷰] CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

Yusuke Tashiro, Jiaming Song외 2명|arXiv (Cornell University)|2021. 07. 07.

Machine Learning in Healthcare참고 문헌 43인용 수 73

한 줄 요약

CSDI는 조건부 점수 기반 확산 모델을 학습시켜 다변량 시계열의 누락 값을 추정하며, 최첨단 방법에 비해 확률적 보간(imputation)과 결정론적 보간을 향상시킵니다.

ABSTRACT

The imputation of missing values in time series has many applications in healthcare and finance. While autoregressive models are natural candidates for time series imputation, score-based diffusion models have recently outperformed existing counterparts including autoregressive models in many tasks such as image generation and audio synthesis, and would be promising for time series imputation. In this paper, we propose Conditional Score-based Diffusion models for Imputation (CSDI), a novel time series imputation method that utilizes score-based diffusion models conditioned on observed data. Unlike existing score-based approaches, the conditional diffusion model is explicitly trained for imputation and can exploit correlations between observed values. On healthcare and environmental data, CSDI improves by 40-65% over existing probabilistic imputation methods on popular performance metrics. In addition, deterministic imputation by CSDI reduces the error by 5-20% compared to the state-of-the-art deterministic imputation methods. Furthermore, CSDI can also be applied to time series interpolation and probabilistic forecasting, and is competitive with existing baselines. The code is available at https://github.com/ermongroup/CSDI.

연구 동기 및 목표

• 다변량 시계열에서 확률적 모델링을 통한 누락 값 보간의 동기 부여 및 해결.
• 보간에 대해 관찰 데이터를 활용하는 조건부 확산 모델 프레임워크를 개발.
• 훈련 중 알려지지 않은 ground-truth 누락 값을 처리하기 위한 자기지도 학습 전략 설계.
• 실제 데이터 세트에서 기존 확률적 및 결정론적 보간 기준선 대비 개선 입증.

제안 방법

• 보간을 위해 p(x_t-1^ta | x_t^ta, x_0^co)을 모델링하는 조건부 설정으로 denoising diffusion probabilistic models 확장.
• 적절한 패딩 및 조건 마스크 m^co와 함께 x_t^ta, t, x_0^co를 입력으로 받는 조건부 denoising 함수 epsilon_theta 도입.
• 훈련 중 보간 대상 x_0^ta 및 조건 데이터 x_0^co를 선택하는 마스킹된 언어 모델링에서 영감을 받은 자기지도 스키마를 통해 epsilon_theta 훈련.
• 시간 순서 의존성 캡처를 위해 2D(시간/특성) Transformer 구성요소를 활용한 주의 집중(attention) 기반 아키텍처.
• 시간/센서 부가 정보(시간 임베딩, 특성 임베딩) 도입 및 조건부 샘플링을 위한 DiffWave 유사 DDPM 매개변수화 적용.
• 훈련 중 varying 누락 패턴 시나리오를 다루기 위한 네 가지 목표 선택 전략(Random, Historical, Mix, Test Pattern) 제공

실험 결과

연구 질문

• RQ1 관찰 값을 주어진 누락 값을 위한 조건부 분포를 조건부 확산 모델이 명시적으로 학습할 수 있는가?
• RQ2 관찰 데이터에 조건을 두는 것이 무조건 확산 모델에 비해 확률적 보간 성능을 향상시키는가?
• RQ3 CSDI가 확률적 보간, 불규칙 시계열 보간 및 확률적 예측에서 최신 기준선과 비교하여 어떤 성능을 보이는가?

주요 결과

방법	Healthcare 10%	Healthcare 50%	Healthcare 90%	Air quality 10%	Air quality 50%	Air quality 90%
Multitask GP	0.489(0.005)	0.581(0.003)	0.942(0.010)	0.301(0.003)	0.301(0.003)	0.301(0.003)
GP-VAE	0.574(0.003)	0.774(0.004)	0.998(0.001)	0.397(0.009)	0.397(0.009)	0.397(0.009)
V-RIN	0.808(0.008)	0.831(0.005)	0.922(0.003)	0.526(0.025)	0.526(0.025)	0.526(0.025)
unconditional	0.360(0.007)	0.458(0.008)	0.671(0.007)	0.135(0.001)	0.135(0.001)	0.135(0.001)
CSDI (proposed)	0.238(0.001)	0.330(0.002)	0.522(0.002)	0.108(0.001)	0.108(0.001)	0.108(0.001)

• CSDI는 의료 및 대기질 데이터 세트에서 강력한 확률적 기준선 대비 CRPS를 40-65% 개선합니다.
• CSDI를 이용한 결정론적 보간은 선도적인 결정론적 방법에 비해 MAE를 5-20% 감소시킵니다.
• CSDI의 조건부 모델링은 무조건적 확산 모델보다 관찰 값에 대한 조건화의 이점을 보여주며, 조건부의 이점을 입증합니다.
• CSDI는 시계열 보간 및 확률적 예측에 적용 가능하며 해당 작업에 대해 특화된 기준선과 경쟁력이 있습니다.
• 다수의 실험에서 CSDI는 확률적 보간을 개선하고 현실적인 불확실성 표현(CRPS 및 샘플 분포로 확인)을 제공합니다.