[논문 리뷰] Time Series Data Cleaning with Regular and Irregular Time Intervals

Xi Wang, Chen Wang|arXiv (Cornell University)|2020. 04. 17.

Data Quality and Management참고 문헌 137인용 수 4

한 줄 요약

이 종합 검토는 정규 및 비정규 시간 간격에서 관측된 값 오류에 중점을 두고 시간 시리즈 데이터 정제 기법을 체계적으로 분류한다. 단일 포인트의 큰 오차 및 작은 오차, 그리고 연속 오차에 대한 최신 기법을 검토하며, 수동 또는 기각 기반 접근 방식에 비해 자동 정제를 강조한다. 향후 연구 방향으로 다차원 정제, 도메인 독립적 이상 탐지, 산업 및 블록체인 응용 분야에 특화된 도구 개발을 규명한다.

ABSTRACT

Errors are prevalent in time series data, especially in the industrial field. Data with errors could not be stored in the database, which results in the loss of data assets. Handling the dirty data in time series is non-trivial, when given irregular time intervals. At present, to deal with these time series containing errors, besides keeping original erroneous data, discarding erroneous data and manually checking erroneous data, we can also use the cleaning algorithm widely used in the database to automatically clean the time series data. This survey provides a classification of time series data cleaning techniques and comprehensively reviews the state-of-the-art methods of each type. In particular, we have a special focus on the irregular time intervals. Besides we summarize data cleaning tools, systems and evaluation criteria from research and industry. Finally, we highlight possible directions time series data cleaning.

연구 동기 및 목표

• 센서 및 시스템 제약으로 인해 신뢰할 수 없는 데이터가 발생하는 산업 및 금융 응용 분야에서 시간 시리즈 데이터 오류 문제의 증가하는 도전에 대응하기 위해.
• 관측된 값 오류를 세 가지 유형으로 분류함으로써 타겟팅된 정제 전략을 가능하게 하기 위해: 단일 포인트의 큰 오차, 단일 포인트의 작은 오차, 연속 오차.
• 특히 전통적인 데이터베이스 기반 방법이 부족한 비정규 시간 간격 환경에서 시간 시리즈에 대한 기존 자동화된 데이터 정제 기법을 검토하고 체계화하기 위해.
• 현재 도구와 평가 기준의 격차를 규명하고, 확장 가능하고 지능적이며 응용 분야에 특화된 정제 솔루션을 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 시간 시리즈 오류를 세 가지 유형으로 분류함: 단일 포인트의 큰 오차(고립된 지점에서의 큰 이탈), 단일 포인트의 작은 오차(고립된 지점에서의 미세한 이탈), 연속 오차(연속적으로 오류가 발생하는 다수의 지점).
• 통계적, 기계 학습, 모델 기반 접근 방식을 포함한 기존 자동 정제 알고리즘을 조사하고 분석함으로써, 비정규 시간 간격에 대한 적용 가능성에 중점을 두고 있다.
• 정확도, 계산 효율성, 노이즈 및 간격에 대한 강건성 등의 도메인 특화 기준을 사용하여 정제 방법의 성능을 평가함.
• 기존 관계형 데이터베이스 중심의 도구가 시간 시리즈에 적합하지 않다는 점을 부각하고, 스트림 처리, 분산 컴퓨팅, 실시간 데이터 파이프라인 기반의 새로운 도구 도입을 주장함.
• 특히 데이터가 적거나 지식이 약한 상황에서 정확도와 적응성을 향상시키기 위해, 고급 기계 학습 기법을 정제 알고리즘에 통합할 것을 제안함.
• 라벨이 있는 기준값에 의존하지 않고도 오류를 식별할 수 있도록, 산업 현장 구현에서 사전 정제가 가능한 시간 시리즈에 특화된 이상 탐지 알고리즘 설계

실험 결과

연구 질문

• RQ1 비정규 시간 간격이 존재하는 상황에서도 타겟팅된 정제 전략을 지원할 수 있도록 시간 시리즈 데이터 오류를 체계적으로 분류하는 방법은 무엇인가?
• RQ2 시간 시리즈에서 관측된 값 오류의 다양한 유형에 대해 기존 자동 정제 알고리즘의 강점과 한계는 무엇인가?
• RQ3 기계 학습과 통계 모델을 어떻게 활용하여 실생활 산업 환경에서 시간 시리즈 데이터 정제의 정확도와 확장성을 향상시킬 수 있는가?
• RQ4 기존 관계형 데이터베이스 시스템을 초월하여 효율적이고 분산 처리 및 실시간으로 작동하는 시간 시리즈 정제 도구를 설계할 때의 주요 과제는 무엇인가?
• RQ5 특히 도메인 지식이 약한 분야에서 라벨이 제공되지 않거나 제한된 상황에서 이상 탐지를 어떻게 향상시켜 시간 시리즈 오류를 식별할 수 있는가?

주요 결과

• Yahoo Finance에서 제공하는 주식 데이터의 정확도는 오직 93%에 불과하여, 실제 시간 시리즈에서 관측된 값 오류의 보편성을 확인한다.
• 오류 데이터를 기각하는 것은 일반적이지만, 오류가 희박하거나 局부적일 경우 유용한 데이터 자산을 손실하게 하므로 최적의 방법이 아니다.
• 수동 정제는 정확하지만 시간과 노동력 소모가 크기 때문에 실용적이지 않으며, 데이터 웨어하우징 프로젝트의 30–80%가 정제 작업에 소요된다.
• 기존 데이터 정제 도구는 관계형 데이터베이스에 집중되어 있어 시간 시리즈에 적합하지 않으며, 이는 전용 시간 시리즈 정제 시스템의 필요성을 암시한다.
• 향후 정제 알고리즘은 다차원 시간 시리즈를 지원하고 기계 학습을 통합하여, 특히 데이터가 적은 환경에서 강건성과 일반화 능력을 향상시켜야 한다.
• 약한 지도 학습 환경에서 이상 탐지를 재구성하여, 라벨이 있는 진짜 값에 의존하지 않고도 자동으로 오류를 식별할 수 있도록 해야 한다.