[논문 리뷰] BRITS: Bidirectional Recurrent Imputation for Time Series

Wei Cao, Dong Wang외 4명|arXiv (Cornell University)|2018. 05. 27.

Time Series Analysis and Forecasting참고 문헌 22인용 수 318

한 줄 요약

BRITS는 다변량 시계열의 누락 값을 추정하기 위해 양방향 순환 네트워크를 도입하고, 임퓨테이션과 분류/회귀를 공동 최적화하여 최첨단 방법들을 능가한다.

ABSTRACT

Time series are widely used as signals in many classification/regression tasks. It is ubiquitous that time series contains many missing values. Given multiple correlated time series data, how to fill in missing values and to predict their class labels? Existing imputation methods often impose strong assumptions of the underlying data generating process, such as linear dynamics in the state space. In this paper, we propose BRITS, a novel method based on recurrent neural networks for missing value imputation in time series data. Our proposed method directly learns the missing values in a bidirectional recurrent dynamical system, without any specific assumption. The imputed values are treated as variables of RNN graph and can be effectively updated during the backpropagation.BRITS has three advantages: (a) it can handle multiple correlated missing values in time series; (b) it generalizes to time series with nonlinear dynamics underlying; (c) it provides a data-driven imputation procedure and applies to general settings with missing data.We evaluate our model on three real-world datasets, including an air quality dataset, a health-care data, and a localization data for human activity. Experiments show that our model outperforms the state-of-the-art methods in both imputation and classification/regression accuracies.

연구 동기 및 목표

• 다변량, 불규칙하게 샘플링된 시계열에서 강한 데이터 생성 가정 없이 강건한 누락 값 임퓨테이션의 동기를 제공합니다.
• 그래프 내에서 누락 값을 학습 가능한 변수로 다루는 양방향 RNN 프레임워크를 제안합니다.
• 임퓨테이션 손실과 다운스트림 분류/회귀 손실을 함께 학습시켜 오차 전파를 줄입니다.
• 다양한 실제 데이터 세트에서 우수한 임퓨테이션 및 예측 성능을 입증합니다.

제안 방법

• 다변량 시계열의 누락 값을 임퓨트하기 위한 양방향 순환 신경망을 개발합니다.
• RNN 그래프에서 누락 항목을 변수로 다루고, 일방향 및 역방향 모두를 통한 역전파로 일관성을 확보합니다.
• 불규칙 샘플링 및 누락 간격을 처리하기 위해 시간적 감쇠 요인을 도입합니다.
• 역사 기반 추정과 특성 기반 추정을 학습된 가중치 체계로 결합하여 상관된 특징으로 확장합니다.
• 단일 신경 그래프 내에서 임퓨테이션 손실과 다운스트림 작업 손실(분류/회귀)을 함께 최적화합니다.

실험 결과

연구 질문

• RQ1 누구든 비강제되는 데이터 생성 과정에 대한 강한 가정 없이 BRITS가 다변량 시계열의 누락 값을 얼마나 잘 임퓨트할 수 있는가?
• RQ2 특성 간 상관관계와 공동 감독 정보를 도입하면 기존 방법에 비해 임퓨테이션 및 다운스트림 작업 정확도가 향상되는가?
• RQ3 훈련 중 그래프 내에서 누락 값을 학습 가능한 변수로 처리하여 더 나은 그래디언트 흐름을 가능하게 할 수 있는가?
• RQ4 양방향 동역학이 불규칙 샘플링 데이터의 수렴 속도와 임퓨테이션 품질에 어떤 영향을 미치는가?

주요 결과

방법	Air Quality MAE	Air Quality MRE%	Health-care MAE	Health-care MRE%	Human Activity MAE	Human Activity MRE%
Mean	55.51	77.97%	0.720	100.00%	0.767	96.43%
KNN	29.79	41.85%	0.732	101.66%	0.479	58.54%
MF	27.94	39.25%	0.622	87.68%	0.879	110.44%
MICE	27.42	38.52%	0.634	89.17%	0.477	57.94%
ImputeTS	19.58	27.51%	0.390	54.2%	0.363	45.65%
STMVL	12.12	17.40%	/	/	/	/
GRU-D	/	0.559	0.558	/	/	/
M-RNN	14.24	20.43%	0.451	62.65%	0.248	31.19%
RITS-I	12.73	18.32%	0.395	54.80%	0.240	30.10%
BRITS-I	11.58	16.66%	0.361	50.01%	0.220	27.61%
RITS	12.19	17.54%	0.300	41.89%	0.248	31.21%
BRITS	11.56	16.65%	0.281	39.14%	0.219	27.59%

• BRITS는 임퓨테이션 정확도(MAE/MRE)에서 비-RNN 및 여러 RNN 기반 기준선보다 상당한 우수성을 보인다.
• 양방향 동역학과 특성 상관관계 모두 단방향 및 상관되지 않은 변형에 비해 향상된 결과에 기여한다.
• BRITS는 임퓨테이션 이득과 함께 최첨단 또는 경쟁력 있는 분류/회귀 성능을 달성한다(예: 건강 관리 및 활동 작업에서 더 높은 AUC/정확도).
• 보고된 표 전반에서 BRITS는 테스트된 방법들 중 일관되게 가장 낮은 임퓨테이션 오차를 보이며 RITS-I, RITS, BRITS-I, GRU-D, M-RNN보다 우수하다.
• 단순한 평활화 또는 단일 방향 순환에 의존하는 임퓨테이션 방법은 BRITS보다 임퓨테이션 및 다운스트림 예측에서 뒤처진다.