[논문 리뷰] Long-Term Missing Value Imputation for Time Series Data Using Deep Neural Networks

Jangho Park, Juliane Müller외 6명|arXiv (Cornell University)|2022. 02. 25.

Hydrological Forecasting Using AI인용 수 9

한 줄 요약

이 논문은 파생되지 않은 하이퍼파rameter 최적화를 사용하는 다층 퍼셉트론(MLP)을 활용한 딥러닝 접근법을 제안하여, 환경 데이터에 특히 적합한 다변량 시계열에서 장기적인 결측치를 보정한다. 이 방법은 이전에 보정된 값을 사용하여 결측치를 순차적으로 예측하며, 기존의 R 기반 방법들(ImputeTS, mtsdi)에 비해 비선형 추세와 역동성을 더 잘 포착하여, 특히 3개월에서 3년에 이르는 큰 간격에서 뛰어난 성능을 보인다.

ABSTRACT

We present an approach that uses a deep learning model, in particular, a MultiLayer Perceptron (MLP), for estimating the missing values of a variable in multivariate time series data. We focus on filling a long continuous gap (e.g., multiple months of missing daily observations) rather than on individual randomly missing observations. Our proposed gap filling algorithm uses an automated method for determining the optimal MLP model architecture, thus allowing for optimal prediction performance for the given time series. We tested our approach by filling gaps of various lengths (three months to three years) in three environmental datasets with different time series characteristics, namely daily groundwater levels, daily soil moisture, and hourly Net Ecosystem Exchange. We compared the accuracy of the gap-filled values obtained with our approach to the widely-used R-based time series gap filling methods ImputeTS and mtsdi. The results indicate that using an MLP for filling a large gap leads to better results, especially when the data behave nonlinearly. Thus, our approach enables the use of datasets that have a large gap in one variable, which is common in many long-term environmental monitoring observations.

연구 동기 및 목표

• 표준 방법이 실패하는 다변량 환경 시계열에서 수개월에서 수년에 이르는 장기적이고 연속적인 간격의 결측치를 보정하는 과제를 해결한다.
• 수동 조정에 의존하지 않고 자동화되고 데이터 기반의 접근법을 개발하여 MLP 아키텍처를 결측치 보정에 최적화한다.
• 伝통적인 통계적 및 보간 기반 방법들과 비교해 비선형 시간 동적 특성과 계절적 추세를 더 정확히 포착하는 데 목적이 있다.
• 큰 간격이 있는 장기적 환경 모니터링 데이터 세트를 신뢰할 수 있는 보정을 통해 활용 가능하게 한다.
• 시계열에서 딥러닝 기반 보정에 대해 서rogate 모델 기반 하이퍼파rameter 최적화(예: RBF 또는 GP)의 효과성을 입증한다.

제안 방법

• 목표 변수와 보조 변수의 지연 관측치를 입력 특성으로 사용하여, 시계열의 결측치를 예측하기 위해 다층 퍼셉트론(MLP)을 딥러닝 모델로 활용한다.
• Müller 등(2019) 기반의 파생되지 않은 서rogate 최적화 방법을 적용하여, 최적의 성능을 위해 MLP 하이퍼파rameter(예: 레이어 수, 뉴런 수, 활성화 함수)를 자동으로 조정한다.
• 검증 데이터에서 보정 오차를 최소화하기 위해, 하이퍼파rameter 공간을 효율적으로 탐색하기 위해 반경 기반 함수(RBF) 또는 가우시안 프로세스(GP) 서rogate 모델을 사용한다.
• 순차적 보정을 구현: 간격의 시작에서 끝까지 결측치를 한 개씩 예측하며, 이후 예측에 앞서 이미 예측된 값을 입력으로 사용한다.
• 결측 간격 이전 및 이후의 완전한 관측 시계열 세그먼트에서 MLP를 훈련하여, 주변 데이터를 기반으로 보정 과정을 안내한다.
• 일일 지하수위, 토양 수분, 시간당 생태계 교환(NET Ecosystem Exchange) 등의 특성을 가진 실제 3개 및 시뮬레이션된 1개의 환경 데이터 세트에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 자동화된 하이퍼파rameter 최적화를 갖춘 딥러닝 모델이 기존의 통계적 방법(예: ImputeTS, mtsdi)에 비해 다변량 환경 시계열에서 장기적 결측치를 보정하는 데 더 뛰어난 성능을 보일 수 있는가?
• RQ2 MLP 기반 보정 방법의 성능는 간격 크기와 시계열 내 위치에 따라 어떻게 변화하는가?
• RQ3 하이퍼파arameter 최적화 과정에서 서rogate 모델 선택(RBF 대비 GP)이 보정의 안정성과 정확성에 상당한 영향을 미치는가?
• RQ4 제안된 방법은 특히 복잡한 시간 동적 행동을 보이는 데이터에서 비선형 추세와 계절적 역동성을 효과적으로 포착할 수 있는가?
• RQ5 이전에 예측된 값에서 피드백을 받는 순차적 보정 전략은 장기 간격에 대해 타당하고 정확한가, 아니면 간격 끝부분으로 갈수록 오차 누적이 성능 저하를 초래하는가?

주요 결과

• 제안된 MLP 기반 보정 방법은 특히 비선형성과 장기 간격에서 뛰어난 정확도를 보이며, 널리 사용되는 R 기반 방법인 ImputeTS 및 mtsdi를 뛰어넘었다.
• 하이퍼파arameter 최적화 과정에서 반경 기반 함수(RBF) 서rogate 모델을 사용할 경우, 가우시안 프로세스(GP) 서rogate보다 더 안정적이고 일관된 성능을 보였다.
• 최적의 MLP 아키텍처는 간격 크기와 시간적 위치에 따라 달라지며, 이는 각 보정 작업에 대해 하이퍼파arameter 최적화가 반드시 필요하다는 것을 확인시켰다.
• 방법은 결측 데이터 내 계절적 추세와 극단치를 성공적으로 포착하여, 복잡한 시간 동적 특성을 모델링하는 데 강력한 능력을 보였다.
• 전반적인 성능는 우수했지만, 전방 보정 방식을 사용할 경우 장기 간격의 끝부분에서 오차 누적이 관찰되어, 향후 뒤집기 또는 이중 방향 보정 전략의 도입으로 개선 가능성이 있다.
• 이 방법은 다중 간격에 일반화 가능하며, 작은 간격에는 다른 방법과 조합할 수 있으며, 향후 물리적 제약 조건과의 통합을 통해 환경 데이터의 정확도를 더욱 향상시킬 수 있다.