[논문 리뷰] Overfitting and Time Series Segmentation: A Locally Adaptive Solution

Daniel Lemire|arXiv (Cornell University)|2006. 05. 24.

Time Series Analysis and Forecasting인용 수 3

한 줄 요약

이 논문은 시간 시리즈에 대해 국소적으로 적응형 다항식 분할 모델을 제안하며, 각 세그먼트에서 과적합을 줄이기 위해 다항식 차수를 동적으로 조정한다 (예: 평탄한, 선형, 이차). l2 오차를 O(n²) 최적 알고리즘과 O(n) 온라인 히우리스틱을 사용해 최소화함으로써, 합성 워크, 주가, 심전도에서 분할 정확도와 결측치 예측 성능을 향상시킨다.

ABSTRACT

Time series are unstructured data; they are difficult to monitor, summarize and predict. Weather forecasts, stock market prices, medical data (ECG, EEG) are examples of non-stationary time series we wish to clean, classify and index. Segmentation organizes time series into few intervals having uniform characteristics (flatness, linearity, modality, monotonicity and so on). The popular piecewise linear model can determine where the data goes up or down and at what rate. Unfortunately, when the data does not follow a linear model, the computation of the local slope creates overfitting. We propose an adaptive time series model where the polynomial degree of each interval vary (flat, linear and so on). Given a number of regressors, the cost of each interval is its polynomial degree: flat intervals cost 1 regressor, linear intervals cost 2 regressors, and so on. Our goal is to minimize the Euclidean (l2) error. We present an optimal algorithm running in time O(n 2) as well as an online (O(n)) top-down heuristic. Over synthetic random walks, historical stock market prices, and electrocardiograms, the adaptive model provides a more accurate segmentation and is a better predictor of missing data points (leave-one-out cross-validation error). In other words, we simultaneously improve the goodnessof-fit and reduce local overfitting.

연구 동기 및 목표

• 데이터가 선형 모델에서 벗어날 때 시간 시리즈 분할에서 과적합 문제를 해결한다.
• 심전도, 주가, 랜덤 워크와 같은 비 stationary 시간 시리즈에 대해 분할 정확도와 예측 성능을 향상시킨다.
• 지역 데이터 특성에 따라 각 세그먼트에 대해 다항식 차수를 적응적으로 선택하는 모델을 개발한다.
• 각 간격에 대한 회귀자 비용(1은 평탄, 2는 선형 등)을 통제하면서 l2 오차를 최소화한다.
• 실제 구현에 적합한 최적의 O(n²) 알고리즘과 효율적인 O(n) 온라인 히우리스틱을 제공한다.

제안 방법

• 지역 데이터 적합도에 따라 다항식 차수를 가변적으로 사용하여 각 시간 시리즈 세그먼트를 모델링한다 (평탄, 선형, 이차 등).
• 각 간격에 대해 다항식 차수에 해당하는 비용을 할당한다 (예: 상수는 1, 선형은 2). 이는 모델 복잡도를 나타낸다.
• l2 오차의 합을 최소화하면서도 회귀자 비용 제약 조건을 만족시키는 방식으로 분할을 최적화한다.
• 동적 프로그래밍을 사용해 O(n²) 시간 내에 최적의 분할을 계산함으로써 적합도와 복잡도를 균형 잡는다.
• 실시간 또는 스트리밍 응용을 위해 데이터를 순차적으로 처리하는 상향식 온라인 히우리스틱을 적용한다. 이는 O(n) 시간에 수행된다.
• 결측치 예측 성능을 평가하기 위해 떼어내기 교차검증(leave-one-out cross-validation)을 사용해 세그먼트 품질을 평가한다.

실험 결과

연구 질문

• RQ1 고정된 차수 모델(예: 조각별 선형 분할)에 비해 세그먼트별로 적응형 다항식 차수를 사용할 경우 과적합이 줄어들 수 있는가?
• RQ2 비 stationary 시간 시리즈에서 제안된 모델이 분할 정확도와 예측 성능에서 어떻게 비교되는가?
• RQ3 동적 차수 선택이 모델 단순성 유지 조건 하에 적합도를 얼마나 향상시키는가?
• RQ4 실제로 O(n) 온라인 히우리스틱이 O(n²) 최적 해를 얼마나 잘 근사하는가?
• RQ5 랜덤 워크, 주가, 심전도 신호와 같은 다양한 시간 시리즈 유형에 대해 모델이 잘 일반화되는가?

주요 결과

• 적응형 모델은 고정된 차수 모델보다 떼어내기 교차검증 오차가 유의미하게 낮아져, 결측치 예측 성능이 향상됨을 나타낸다.
• 합성 랜덤 워크, 역사적 주가, 심전도 데이터에서 과적합 없이 지역적 적합도가 향상되어 분할 정확도가 향상된다.
• O(n²) 최적 알고리즘은 각 간격에 대한 회귀자 비용을 통제하면서 l2 오차를 정확히 최소화한다.
• O(n) 온라인 히우리스틱은 계산 시간을 크게 줄이며 근사 최적 성능을 제공하여 스트리밍 데이터에 적합하다.
• 평탄하거나 노이즈가 많은 영역에서는 낮은 차수의 다항식을 허용하고, 데이터가 충분히 지지할 때에만 고차수 다항식을 사용함으로써 과적합을 줄인다.
• 모델은 적합도와 일반화 능력을 동시에 향상시켜, 평가된 모든 데이터셋에서 표준 조각별 선형 모델을 능가한다.