[논문 리뷰] TSI-Bench: Benchmarking Time Series Imputation

Wenjie Du, Jun Wang외 13명|arXiv (Cornell University)|2024. 06. 18.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

TSI-Bench는 딥러닝을 이용한 시계열 대체를 위한 최초의 포괄적 벤치마크 스위트로, 8개 데이터셋과 다양한 결측 패턴에 걸쳐 28개 모델을 평가하여 모델 선택 및 다운스트림 작업 영향에 대한 가이드를 제공합니다.

ABSTRACT

Effective imputation is a crucial preprocessing step for time series analysis. Despite the development of numerous deep learning algorithms for time series imputation, the community lacks standardized and comprehensive benchmark platforms to effectively evaluate imputation performance across different settings. Moreover, although many deep learning forecasting algorithms have demonstrated excellent performance, whether their modelling achievements can be transferred to time series imputation tasks remains unexplored. To bridge these gaps, we develop TSI-Bench, the first (to our knowledge) comprehensive benchmark suite for time series imputation utilizing deep learning techniques. The TSI-Bench pipeline standardizes experimental settings to enable fair evaluation of imputation algorithms and identification of meaningful insights into the influence of domain-appropriate missing rates and patterns on model performance. Furthermore, TSI-Bench innovatively provides a systematic paradigm to tailor time series forecasting algorithms for imputation purposes. Our extensive study across 34,804 experiments, 28 algorithms, and 8 datasets with diverse missingness scenarios demonstrates TSI-Bench's effectiveness in diverse downstream tasks and potential to unlock future directions in time series imputation research and analysis. All source code and experiment logs are released at https://github.com/WenjieDu/AwesomeImputation.

연구 동기 및 목표

• 데이터셋, 패턴, 결측 비율 간 공정한 비교를 가능하게 하도록 시계열 대체 방법의 평가를 표준화한다.
• 다양한 결측 패턴과 비율이 대체 성능에 미치는 영향을 평가하고 도메인 특화 요구사항을 식별한다.
• 예측(forecasting) 백본이 대체 작업과 다운스트림 영향에 대해 효과적으로 적응될 수 있는지 탐구한다.
• 재현 가능한 벤치마킹과 공정한 하이퍼파라미터 튜닝을 가능하게 하는 오픈소스 생태계를 제공한다.
• 대체 품질이 분류, 회귀, 예측과 같은 다운스트림 작업에 어떤 영향을 미치는지 조사한다.

제안 방법

• 데이터 로딩, 결측 시뮬레이션, 전처리, 대체 및 다운스트림 분석을 위한 표준화된 파이프라인(TSI-Bench)을 PyPOTS 생태계 위에 구축하고 사용한다.
• 다양한 차원성과 결측 패턴을 갖춘 대기질, 교통, 전력, 보건의료 분야의 실제 데이터셋 8개를 사용한다.
• Transformer, RNN, CNN, GNN, MLP 및 VAE/GAN/확산 기반 접근법과 전통적 베이스라인을 포함한 28개의 대체/예측 모델을 평가한다.
• 세 가지 결측 패턴(point, subsequence, block)과 다수의 결측 비율(예: 10%, 50%, 90%)을 적용하여 강인성을 평가한다.
• 교차 작업 이전 가능성과 성능을 연구하기 위해 예측 백본을 대체 작업에 적응시킨다.
• MAE, MSE, MRE 등으로 대체 성능을 보고하고 추론 시간 및 매개변수 수를 함께 제시하며 PyPOTS 및 NNI를 통한 하이퍼파라미터 조정을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 결측 패턴(point, subsequence, block)과 결측 비율이 다양한 데이터셋에서 대체 성능에 어떤 영향을 미치는가?
• RQ2 대체에 적응되었을 때 예측 백본이 실제 환경에서 전통적인 대체 모델보다 우수한가?
• RQ3 대체 품질이 분류, 회귀, 예측과 같은 다운스트림 작업에 어떤 영향을 미치는가?
• RQ4 표준화된 벤치마크 생태계가 공정한 비교를 촉진하고 도메인 특화 대체 문제에 대한 모델 선택을 안내할 수 있는가?
• RQ5 데이터셋 특성 및 결측 시나리오에 따라 모델을 선택하기 위한 실용적 가이드라인이 어떤 것이 있는가?

주요 결과

• 어떤 특정 모델도 모든 설정에서 지배적이지 않으며, 성능은 데이터셋, 결측 패턴, 비율에 따라 크게 달라진다.
• 대체 백본으로서 예측 아키텍처가 활용될 때 효과적일 수 있으며, 때로 전통적 대체 모델보다 우수하게 작동한다.
• 높은 품질의 대체로 결측 데이터를 채우면 다운스트림 작업의 성능(예: 분류 및 회귀)이 향상된다.
• 신뢰할 수 있는 대체 벤치마킹을 위해 도메인 정보를 반영한 데이터 처리와 현실적인 결측 시뮬레이션이 중요하다.
• 벤치마크는 정확도뿐만 아니라 모델 튜닝, 데이터 전처리 및 계산 효율성의 중요성을 강조한다.