[논문 리뷰] Autocorrelation type functions for big and dirty data series

Christoph Bandt|arXiv (Cornell University)|2014. 11. 14.

Time Series Analysis and Forecasting참고 문헌 1인용 수 6

한 줄 요약

이 논문은 전처리 없이 큰 크기의 노이즈가 많고 비정규적인 시계열 데이터를 분석하기 위한 강력한 도구로 순서 자율상관함수—특히 $\tilde{\tau}(d)$, $\tilde{\beta}(d)$, $\tilde{\rho}(d)$, 및 $\tilde{\tau}$—를 소개한다. 원시 값이 아닌 순서 패턴에 초점을 맞추어, 다양한 데이터(예: 호흡, thủy위, 뇌파, 레이저 신호)에서 리듬 구조, 제도 전환, 주기성을 식별할 수 있으며, 고해상도 및 누락 데이터가 있는 경우에도 효과적이다. 이는 전통적인 자율상관함수와 스펙트로그램에 대한 校정이 필요 없는 대안을 제공한다.

ABSTRACT

One form of big data are signals - time series of consecutive values. In physical experiments, billions of values can now be measured within a second. Signals of heart and brain in intensive care, as well as seismic waves, are measured with 100 up to 1000 Hz over hours, days or even years. A song of 3 minutes on CD comprises 16 million values. Music and seismic vibrations basically consist of harmonic oscillations for which classical tools like autocorrelation and spectrogram work well. This note presents similar tools for all kinds of rhythmic processes, with non-linear distortion, artefacts, and outliers. Permutation entropy has been used in physics, medicine, and engineering. Big data allow a detailed analysis of ordinal patterns. As new version of permutation entropy, we define a distance to white noise consisting of four curious components. Applications to a variety of data are discussed.

연구 동기 및 목표

• 큰 크기의 더러운 시계열 데이터에서 비선형 왜곡, 이방치, 누락 데이터가 있는 경우에도 전처리 없이도 강력한 분석 도구를 개발하는 것.
• 빅 데이터를 위한 순서 패턴 기반의 백색잡음과의 거리 측정법을 도입하여 순열 엔트로피를 확장하는 것.
• 전통적 방법이 실패하는 실제 신호에서 순서 통계가 숨겨진 리듬적 및 구조적 패턴을 드러낼 수 있음을 입증하는 것.
• 센서 설계에서 고해상도 데이터 유지의 중요성을 주장하며, 전처리 과정에서 중요한 정보가 손실된다고 주장하는 것.
• 시계열의 순서 자율상관 프로파일을 기반으로 시계열을 분류하고 구분하는 프레임워크를 제공하는 것.

제안 방법

• 값 간 순서 관계만을 사용하여 $x_t < x_{t+d}$ 의 상대 빈도인 $p_{12}(d)$ 를 기반으로 하행-상행 균형 $\beta(d) = p_{12}(d) - p_{21}(d)$ 를 정의한다.
• 순서 패턴에 기반한 '타원 대칭성'의 정규화된 측도인 $\tilde{\tau}(d)$ 를 도입하여 시계열의 주기성 및 구조적 변화를 탐지한다.
• 고정 길이의 슬라이딩 윈도우를 적용하여 $\beta(d)$, $\tilde{\tau}(d)$, 및 관련 함수를 계산하고, 제도 전환을 탐지하기 위해 스펙트로그램 유사 맵으로 결과를 시각화한다.
• $\Delta^2$ 의 분할(백색잡음에서의 이격도 측도)을 사용하여 순서 패턴의 유의미성 평가 및 오차 한계 추정한다.
• 다양한 데이터셋에 방법을 적용: 24시간 호흡 신호, tidal 수위, 시간당 PM10 및 온도 데이터, 초고속 레이저 신호.
• 결과를 전통적 자율상관함수 및 스펙트로그램과 비교하여 검증하고, 다중 척도 주기성과 미세한 리듬을 더 잘 탐지함을 보여준다.

실험 결과

연구 질문

• RQ1 전통적 방법이 실패하는 큰 크기의 노이즈가 많고 정제되지 않은 시계열에서 순서 자율상관함수는 주기적 및 리듬적 구조를 탐지할 수 있는가?
• RQ2 $\tilde{\tau}(d)$, $\tilde{\beta}(d)$, 및 관련 함수는 전통적 자율상관함수 및 스펙트로그램에 비해 숨겨진 패턴을 얼마나 잘 드러내는가?
• RQ3 이 함수들은 데이터 전처리 없이도 생리적 상태 전환(예: 수면 단계) 또는 환경 제도 전환을 어느 정도 탐지할 수 있는가?
• RQ4 이 함수들의 통계적 신뢰도는 어떻게 평가할 수 있으며, 다양한 윈도우 길이 및 지연 시간에 대해 오차 한계는 어떻게 추정할 수 있는가?
• RQ5 고해상도 데이터는 전통적인 다운샘플링 분석에 비해 순서 통계를 통해 더 효과적으로 활용될 수 있는가?

주요 결과

• $\tilde{\tau}(d)$ 는 전처리 없이 24시간 호흡 데이터에서 수면 단계, 낮잠, 호흡 리듬을 성공적으로 드러내었으며, 수면 중 4초 주기와 일상생활에서의 짧은 주기를 탐지하였다.
• tidal 데이터의 경우 $\tilde{\beta}(d)$ 프로파일은 18년 동안 안정적이었고, 각 해안 지역에 고유하게 특징지어졌으며, $\beta(12.5) = 0$ 이라는 사실은 25시간 주기를 의미하여 주기성이 확인되었다.
• 산 버나디노의 PM10 데이터에서는 여름에만 일일 리듬이 나타났고, 이는 원시 데이터와 전통적 자율상관함수에서는 보이지 않았지만 $\tilde{\beta}(d)$ 와 $\tilde{\tau}(d)$ 를 통해 탐지되었다.
• 초고속 레이저 데이터의 경우 $\tilde{\tau}(d)$ 는 진짜 주기 $L=1544$ 를 반파장($d=L/2$) 에서 매우 신뢰성 있게 탐지하였고, $\rho(d)$ 와 전통적 자율상관함수를 능가하였다.
• $\tilde{\tau}$ 추정의 평균 오차는 0.54%였고, $\Delta^2$ 값의 96%가 작아 순서 패턴의 대부분의 데이터 윈도우에서 높은 일관성을 나타내었다.
• 전체 데이터 포인트의 2%만이 $\Delta^2 < 15/n$ 이었고, 이들 중 $\tilde{\tau}$ 평균은 76%였으며, 고품질 데이터 서브셋에서 강력한 신호 일관성을 보였다.