Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Probabilistic Imputation for Time-series Classification with Missing Data

Seung-Hyun Kim, Hyun‐Su Kim|arXiv (Cornell University)|2023. 08. 13.
Time Series Analysis and Forecasting인용 수 5
한 줄 요약

이 논문은 다변량 시계열 분류를 위한 확률적 딥러닝 프레임워크를 제안하며, 누락 데이터를 다루며, MNAR 가정 하에 작동하는 딥 생성 모델과 임퓨티이션 불확실성을 고려한 분류기의 조합을 통해 구현한다. 새로운 obsdropout 정규화 기법을 도입함으로써 모델은 임의의 임퓨티이션을 피하고, 실제 데이터셋에서 임퓨티이션 정확도와 분류 정확도 면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multivariate time series data for real-world applications typically contain a significant amount of missing values. The dominant approach for classification with such missing values is to impute them heuristically with specific values (zero, mean, values of adjacent time-steps) or learnable parameters. However, these simple strategies do not take the data generative process into account, and more importantly, do not effectively capture the uncertainty in prediction due to the multiple possibilities for the missing values. In this paper, we propose a novel probabilistic framework for classification with multivariate time series data with missing values. Our model consists of two parts; a deep generative model for missing value imputation and a classifier. Extending the existing deep generative models to better capture structures of time-series data, our deep generative model part is trained to impute the missing values in multiple plausible ways, effectively modeling the uncertainty of the imputation. The classifier part takes the time series data along with the imputed missing values and classifies signals, and is trained to capture the predictive uncertainty due to the multiple possibilities of imputations. Importantly, we show that naïvely combining the generative model and the classifier could result in trivial solutions where the generative model does not produce meaningful imputations. To resolve this, we present a novel regularization technique that can promote the model to produce useful imputation values that help classification. Through extensive experiments on real-world time series data with missing values, we demonstrate the effectiveness of our method.

연구 동기 및 목표

  • 다변량 시계열에서 누락 데이터 임퓨티이션과 분류를 동시에 모델링하는 확률적 프레임워크의 부족을 해결하기 위해.
  • 누락 값의 불확실성과 생성 과정을 忽시하는 히وري스틱 임퓨티이션 방법의 한계를 극복하기 위해.
  • MNAR 가정 하에 의미 있고 다양한 임퓨티이션을 생성하면서도 불확실성 인식 분류를 지원하는 모델을 개발하기 위해.
  • 종합적인 학습에서 생성 모델이 임의의 임퓨티이션을 생성하는 '트ivial 솔루션' 문제를 해결하기 위해.
  • obsdropout를 통해 생성 모델을 명시적으로 정규화함으로써 분류 성능 향상과 불확실성 校정을 향상시키기 위해.

제안 방법

  • 다변량 시계열의 누락된 값에 대해 MNAR 가정 하에 작동하는 딥 생성 모델을 학습하여 다수의 타당한 임퓨티이션을 생성한다.
  • 분류기는 다수의 임퓨티드 샘플을 통해 예측를 집계함으로써, 임퓨티이션 변동성에서 비롯된 불확실성을 포착한다.
  • 새로운 obsdropout 정규화 기법을 도입하여 학습 중 관측된 값을 무작위로 마스킹함으로써 생성 모델이 유용한 임퓨티이션을 생성하도록 유도한다.
  • 모델은 시계열의 시간적 의존성과 구조적 패턴을 효과적으로 포착하기 위해 트랜스포머 기반 인코더와 디코더를 사용한다.
  • 클래스 레이블에 대한 지도 신호를 사용하여 생성 모델과 분류기를 동시에 최적화함으로써, 임퓨티이션과 분류 간의 일치를 보장한다.
  • MNAR 가정은 누락의 정도가 관측된 값과 관측되지 않은 값에 모두 의존함을 명시적으로 모델링할 수 있도록 한다.
Figure 1 : An overview of our model with obsdropout.
Figure 1 : An overview of our model with obsdropout.

실험 결과

연구 질문

  • RQ1시계열 임퓨티이션과 분류를 위한 통합된 확률적 프레임워크는 분류 정확도와 불확실성 校정 측면에서 히وري스틱 임퓨티이션 방법을 능가할 수 있는가?
  • RQ2기본값이 없는 상황에서 딥 생성 모델이 의미 있는 임퓨티이션을 어떻게 학습시킬 수 있는가?
  • RQ3종합적인 학습에서 생성 모델이 임의의 또는 단순한 임퓨티이션을 생성하는 것을 효과적으로 방지할 수 있는 정규화 전략은 무엇인가?
  • RQ4다수의 임퓨티이션에서 유도된 불확실성을 통합할 경우, 실세계 다변량 시계열 데이터에서 분류의 강건성은 어느 정도 향상되는가?
  • RQ5제안된 obsdropout 정규화는 표준 학습 대비 현실적이며 분류에 유용한 임퓨티이션을 생성하는 데 얼마나 효과적인가?

주요 결과

  • PhysioNet 2012 데이터셋에서 제안된 방법은 가장 낮은 MAE(0.367)와 MRE(0.526)를 기록하여, SAITS(0.653 MAE, 0.942 MRE)와 GP-VAE(0.439 MAE, 0.630 MRE)를 모두 앞서며 성능을 뛰어넘었다.
  • MIMIC-III에서 모델은 MAE 0.149와 MRE 0.451을 기록하여 프레임워크 기반 임퓨티이션(0.151 MAE, 0.459 MRE)과 다른 기준 모델들을 능가했다.
  • 제거 실험을 통해 obsdropout과 MNAR 가정이 임퓨티이션 품질 향상에 상당한 기여를 했음을 확인하였으며, 제거된 설정에서 MAE와 MRE가 낮아짐을 보였다.
  • 트랜스포머 기반 인코더와 디코더를 사용한 모델은 특히 누락 데이터가 있는 영역에서 더 부드럽고 현실적인 임퓨티이드 트래잭터리를 생성했다.
  • 다수의 임퓨티이션을 사용해 학습한 분류기는 단일 임퓨티이션을 사용한 모델 대비 더 강건하고 불확실성 측정이 보다 정확했다.
  • 임퓨티이션에 대한 명시적 지도 신호 없이도 모델은 경쟁 가능한 성능(MAE: 0.376, MRE: 0.541, PhysioNet 기준)을 달성하여, obsdropout 정규화의 효과를 입증했다.
Figure 2 : Plots of ${\boldsymbol{\mu}}_{\text{dec}}(\boldsymbol{z}_{1:t}),{\boldsymbol{\sigma}}^{2}_{\text{dec}}(\boldsymbol{z}_{1:t})$ . ( Left ) Our model with MLP encoder and MLP decoder. ( Right ) Our model trained with obsdropout with a rate of 0.4. Since MLP architecture does not take the tem
Figure 2 : Plots of ${\boldsymbol{\mu}}_{\text{dec}}(\boldsymbol{z}_{1:t}),{\boldsymbol{\sigma}}^{2}_{\text{dec}}(\boldsymbol{z}_{1:t})$ . ( Left ) Our model with MLP encoder and MLP decoder. ( Right ) Our model trained with obsdropout with a rate of 0.4. Since MLP architecture does not take the tem

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.