[논문 리뷰] A Better Alternative to Piecewise Linear Time Series Segmentation

Daniel Lemire|ArXiv.org|2006. 05. 24.

Time Series Analysis and Forecasting참고 문헌 34인용 수 11

한 줄 요약

이 논문은 모델 복잡도나 계산 비용을 증가시키지 않으면서도, 각 세그먼트에서 상수 또는 선형 다항식 피팅 간에 동적으로 전환함으로써 피팅 오차를 감소시키는 적응형 시계열 분할 모델을 제안한다. 기존의 조각별 선형 분할 방식과 달리, 비선형 추세를 강제로 선형 피팅으로 모델링하는 것에서 오는 과적합 문제를 해결한다. 본 방법은 각 간격에서 모델의 유연성을 허용함으로써 정확도를 향상시키며, 합성 데이터 및 실세계 데이터에서 최대 13% 낮은 오차를 기록한다. 또한 선형 시간 성능을 유지한다.

ABSTRACT

Time series are difficult to monitor, summarize and predict. Segmentation organizes time series into few intervals having uniform characteristics (flatness, linearity, modality, monotonicity and so on). For scalability, we require fast linear time algorithms. The popular piecewise linear model can determine where the data goes up or down and at what rate. Unfortunately, when the data does not follow a linear model, the computation of the local slope creates overfitting. We propose an adaptive time series model where the polynomial degree of each interval vary (constant, linear and so on). Given a number of regressors, the cost of each interval is its polynomial degree: constant intervals cost 1 regressor, linear intervals cost 2 regressors, and so on. Our goal is to minimize the Euclidean (l_2) error for a given model complexity. Experimentally, we investigate the model where intervals can be either constant or linear. Over synthetic random walks, historical stock market prices, and electrocardiograms, the adaptive model provides a more accurate segmentation than the piecewise linear model without increasing the cross-validation error or the running time, while providing a richer vocabulary to applications. Implementation issues, such as numerical stability and real-world performance, are discussed.

연구 동기 및 목표

• 비선형 추세가 선형으로 강제로 모델링되는 조각별 선형 시계열 분할에서의 과적합 문제를 해결하기 위해.
• 일괄적인 모델 유형을 강제하는 대신, 간격별로 상수 또는 선형 모델을 선택할 수 있도록 하여 분할 정확도를 향상시키기 위해.
• 대규모 데이터셋에 대한 확장성을 확보하기 위해 선형 시간 성능과 수치 안정성을 유지하기 위해.
• 표준 조각별 선형 및 상수 모델과 비교하여 피팅 오차와 교차검증 오차를 모두 감소시키기 위해.
• 평탄한, 상승하는, 하강하는 추세를 식별하는 데 필요한 더 풍부하고 의미적으로 더 풍부한 분할 어휘를 제공하기 위해.

제안 방법

• 이 방법은 상한선 히우리스틱을 사용하여, 각 후보 분할 지점에서 l2 오차를 최소화하는 방식으로 세그먼트 경계를 평가하며, 오차를 더 줄이는 데 더 유리한 모델(상수 또는 선형)을 선택한다.
• 모델 복잡도는 총 회귀계수의 수로 측정되며, 상수 모델은 1개, 선형 간격은 2개이며, 총합은 주어진 k로 제한된다.
• O(n) 시간에 사전 계산된 버퍼를 통해 O(nk) 시간의 상한선 분할을 실현함으로써 선형 시간 성능을 확보한다.
• 최적의 분할을 위한 동적 프rogram밍 해법은 O(n²k) 시간에 실행되며, 비교를 위한 기준이 된다.
• 적응형 모델은 각 간격이 상수 또는 선형일 수 있도록 허용하여, 평탄한 영역을 탐지하기 위한 후처리가 필요 없도록 한다.
• 최소 제곱법 피팅과 버퍼 계산의 철저한 구현을 통해 수치 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 일관된 조각별 선형 모델과 비교해 복합 모델 분할 전략(상수 및 선형 간격 혼용)이 피팅 오차를 감소시킬 수 있는가?
• RQ2 적응형 모델은 피팅 오차를 감소시키는 동시에 교차검증 오차를 유지하거나 향상시키는가?
• RQ3 특히 선형 시간 내에서 대규모 데이터에 대해 적응형 분할 방법이 계산적으로 실현 가능한가?
• RQ4 실세계 데이터(예: ECG, 주식 가격)에서 표준 조각별 선형 및 상수 모델과 비교해 적응형 모델의 성능은 어떠한가?
• RQ5 후처리 없이도 적응형 모델이 평탄한 것과 상승하는 등의 정성적 행동을 더 잘 식별할 수 있는가?

주요 결과

• 합성 랜덤 워크 데이터에서, 동일한 모델 복잡도 조건에서 적응형 모델은 조각별 선형 모델 대비 피팅 오차를 13% 감소시켰다.
• ECG 데이터에서 k=10일 때, 적응형 모델은 조각별 선형 모델 대비 평균 피팅 오차를 13% 낮췄으며, 교차검증 오차는 증가하지 않았다.
• k=10일 때, 적응형 모델은 조각별 선형 모델 대비 이탈한 관측치 교차검증 오차를 평균 10% 감소시켰다.
• 백색 잡음 데이터에서, 적응형 모델은 조각별 선형 모델 대비 평균 5%의 피팅 오차 향상을 기록했다.
• 적응형 모델의 최적 동적 프로그래밍 해법은 O(n²k) 시간에 실행되며, 중간 크기의 데이터셋에는 실현 가능하지만 매우 큰 데이터셋에는 비실용적이다.
• 최적 해법이 존재함에도 불구하고, 적응형 상한선 히우리스틱은 선형 시간 내에 거의 최적의 성능을 달성했으며, 작은 k 값에서 표준 히우리스틱보다 뛰어난 성능을 보였다.