[논문 리뷰] A convolution recurrent autoencoder for spatio-temporal missing data imputation

Reza Asadi, Amelia Regan|arXiv (Cornell University)|2019. 04. 28.

Human Mobility and Location-Based Analysis인용 수 14

한 줄 요약

이 논문은 교통 흐름 데이터의 시공간 누락 데이터 보정을 위해 공간 패턴은 1차원 컨볼루션 레이어를 통해, 시간적 의존성은 양방향 LSTM를 통해 활용하는 컨볼루션 양방향 LSTM 오토인코더를 제안한다. 이 모델은 최신 기술보다 뛰어난 성능을 보이며, 단일 보정 시 6.9 MAE와 13.7 RMSE를 기록했고, 다중 보정 및 잠재 특징 분석을 통해 성능이 추가로 향상된다.

ABSTRACT

When sensors collect spatio-temporal data in a large geographical area, the existence of missing data cannot be escaped. Missing data negatively impacts the performance of data analysis and machine learning algorithms. In this paper, we study deep autoencoders for missing data imputation in spatio-temporal problems. We propose a convolution bidirectional-LSTM for capturing spatial and temporal patterns. Moreover, we analyze an autoencoder's latent feature representation in spatio-temporal data and illustrate its performance for missing data imputation. Traffic flow data are used for evaluation of our models. The result shows that the proposed convolution recurrent neural network outperforms state-of-the-art methods.

연구 동기 및 목표

• 대규모 시공간 데이터셋, 특히 교통 흐름 모니터링에서의 누락 데이터 문제를 해결하기 위해.
• 센서 데이터에서 공간적 및 시간적 의존성을 효과적으로 포착할 수 있는 딥러닝 모델을 개발하기 위해.
• 오토인코더가 학습한 잠재 표현과 다중 보정 전략을 활용해 보정 정확도를 향상시키기 위해.
• 학습된 잠재 특징의 의미론적 유의미성을 후속 보정 작업에 활용 가능한지 분석하기 위해.
• 완전 연결 신경망 및 표준 RNN과 비교해 컨볼루션-순환 아키텍처가 누락 데이터 복구에서 우월함을 입증하기 위해.

제안 방법

• 1D 컨볼루션을 사용해 다중 커널 크기를 적용한 공간 패턴을 추출하고, 양방향 LSTMs를 통해 시간 패턴을 추출하는 컨볼루션 양방향 LSTM 오토인코더를 설계하였다.
• 입력 데이터에 누락 값을 도입하여 훼손된 데이터를 제공하고, 네트워크가 원본 데이터를 재구성하도록 하는 노이즈 제거 오토인코더 목적함수를 사용하였다.
• 각 샘플에 대해 다중 보정을 생성하고, 최종 보정 값은 이러한 다중 출력의 평균을 취해 분산을 줄였다.
• 잠재 특징 표현은 브로드캐스트 레이어에서 추출된 것으로, t-SNE 시각화를 통해 분석하고, 보정 성능 평가를 위해 k-NN 분류를 수행하였다.
• 학습 안정성과 수렴 속도 향상을 위해 잔차 연결을 아키텍처에 통합하였다.
• 실제 교통 흐름 데이터에서 다양한 누락 패턴을 적용한 MAE 및 RMSE를 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 컨볼루션 순환 오토인코더는 시공간 데이터의 공간적 및 시간적 패턴을 효과적으로 학습하여 누락 데이터 보정에 활용할 수 있는가?
• RQ2 오토인코더 출력을 활용한 다중 보정 전략은 단일 보정 대비 보정 정확도를 얼마나 향상시키는가?
• RQ3 학습된 잠재 특징 표현은 의미론적으로 유의미하며, 누락 데이터 보정에 유용한가?
• RQ4 잠재 특징에 대해 k-NN을 적용할 때, 잠재 벡터의 크기가 보정 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 모델은 기존 최신 기술 대비 교통 흐름 데이터 보정 작업에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 컨볼루션 순환 오토인코더는 단일 보정 시 MAE 6.9, RMSE 13.7을 기록하여 완전 연결, LSTM, BiLSTM 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 오토인코더 출력을 활용한 다중 보정 전략은 보정 오차를 감소시켰으며, 다중 예측의 평균값이 단일 예측보다 더 우수한 결과를 도출하였다.
• t-SNE 시각화 결과, 같은 시간대의 데이터 포인트가 서로 뭉쳐 있는 것으로 나타나, 오토인코더가 학습한 잠재 특징 공간은 의미론적으로 의미 있는 구조를 지녔다.
• 완전 연결 오토인코더의 잠재 특징에 대해 k-NN을 적용한 결과, MAE 16.6, RMSE 22.5를 기록했으며, 주성분 분석(PCA) 성분에 대한 k-NN보다 우수한 성능을 보였다.
• k-NN 기반 보정에서 최적의 잠재 벡터 크기는 10으로, 2에서 20 사이의 크기 범위에서 이 크기에서 성능이 최고조에 이르렀다.
• 잔차 연결을 포함한 컨볼루션 순환 오토인코더는 비잔차 버전 대비 수렴 속도가 빠르고 성능이 뛰어났다.