[논문 리뷰] Estimating Predictability: Redundancy and Surrogate Data Method

Palu\v{s}, M., Ladislav Pecen외 1명|arXiv (Cornell University)|1995. 07. 31.

Fault Detection and Control Systems인용 수 9

한 줄 요약

이 논문은 정보이론적 재dundancy와 서rogate 데이터 기법을 사용하여 시계열의 이론적 예측 가능성을 비모수적 방법으로 추정하는 방법을 제안한다. 지연된 입력과 예측된 출력 사이의 재dundancy를 가능한 최대 재dundancy로 정규화한 후, 결과를 외부화된(화이트 노이즈) 및 이소스펙트럴(컬러드 노이즈) 서rogate 데이터와 비교하여 예측 가능성을 선형, 비선형 또는 예측 불가능으로 분류하며, 시뮬레이션 데이터와 외환 데이터에서 성공적으로 적용되었다.

ABSTRACT

A method for estimating theoretical predictability of time series is presented, based on information-theoretic functionals---redundancies and surrogate data technique. The redundancy, designed for a chosen model and a prediction horizon, evaluates amount of information between a model input (e.g., lagged versions of the series) and a model output (i.e., a series lagged by the prediction horizon from the model input) in number of bits. This value, however, is influenced by a method and precision of redundancy estimation and therefore it is a) normalized by maximum possible redundancy (given by the precision used), and b) compared to the redundancies obtained from two types of the surrogate data in order to obtain reliable classification of a series as either unpredictable or predictable. The type of predictability (linear or nonlinear) and its level can be further evaluated. The method is demonstrated using a numerically generated time series as well as high-frequency foreign exchange data and the theoretical predictability is compared to performance of a nonlinear predictor.

연구 동기 및 목표

• 시계열의 이론적 예측 가능성을 추정하기 위한 비모수적 방법을 개발한다.
• 복잡한 시스템에서 선형 예측 가능성과 비선형 예측 가능성을 구분한다.
• 시계열을 예측 불가능, 선형적으로 예측 가능, 비선형적으로 예측 가능한 것으로 신뢰성 있게 분류한다.
• 예측 가능성을 평가하기 위해 예측기 학습 및 테스트를 수행하는 데 대비하여 계산 효율성이 높은 대안을 제공한다.
• 데이터셋 간 예측 가능성 비교 및 실제 예측기 성능과의 상관관계 가능성을 제공한다.

제안 방법

• 정보이론적 기능을 사용하여 모델 입력(지연된 시계열)과 출력(예측 수평으로 지연된 시계열) 간 재dundancy를 비트 단위로 추정한다.
• 엔트로피로부터 유도된 가능한 최대 재dundancy로 재dundancy를 정규화하여 이론적 최대치의 백분율로 예측 가능성을 표현한다.
• 두 종류의 서rogate 데이터를 생성한다: 외부화된 서rogate 데이터(화이트 노이즈를 나타냄)와 이소스펙트럴 서rogate 데이터(선형적으로 상관된 과정을 나타냄).
• 원본 데이터 및 두 종류의 서rogate 데이터에 대해 재dundancy를 계산하여 차이의 통계적 유의성을 검증한다.
• 원본 데이터의 재dundancy가 외부화된 서rogate 또는 이소스펙트럴 서rogate의 재dundancy보다 유의미하게 높은지 여부에 따라 시계열을 분류한다.
• 국소 예측 가능성 추정을 위해 슬라이싱 윈도우 방법을 사용하며, Nw = 256 및 Ns = 4를 사용한다.

실험 결과

연구 질문

• RQ1 예측기 학습 없이 재dundancy 기반 측정치가 시계열의 이론적 예측 가능성을 신뢰성 있게 추정할 수 있는가?
• RQ2 이 방법은 시계열에서 선형 예측 가능성과 비선형 예측 가능성을 구분할 수 있는가?
• RQ3 외부화된 서rogate와 이소스펙트럴 서rogate와 같은 서rogate 데이터 유형이 예측 가능성 분류의 신뢰도를 어떻게 향상시키는가?
• RQ4 이론적 예측 가능성과 실제 비선형 예측기 성능 간 상관관계는 어느 정도인가?
• RQ5 비 stationary 시계열에서 시간에 따라 예측 가능성의 구조 변화를 이 방법이 감지할 수 있는가?

주요 결과

• 시뮬레이션된 USD/JPY 시계열의 경우, 후반부에서 비선형 예측 가능성의 증가를 정확히 식별하였으며, 비선형 예측 가능성은 약 2에서 약 4 비트로 증가한 반면, 선형 예측 가능성은 안정적으로 유지되었다.
• GBP/USD 시계열에서는 예측 오차가 선형 예측 가능성 지표와 강하게 상관되었지만, 비선형 또는 총합 예측 가능성과는 상관관계가 없었으며, 이는 해당 구간에서 선형적 구조가 지배적임을 시사한다.
• 이 방법은 시뮬레이션 데이터를 선형 예측 가능성이 첫 번째 반기, 비선형 예측 가능성이 두 번째 반기인 것으로 성공적으로 분류하였으며, 데이터 생성 과정과 일치하였다.
• 이론적 예측 가능성 측정치는 고주기 외환 데이터에서 스퍼링 비선형 예측기의 성능과 강한 상관관계를 보였지만, 결과는 초보적 수준이었다.
• 서rogate 비교 접근법은 잡음 신호를 효과적으로 걸러내었으며, 외부화된 서rogate와 이소스펙트럴 서rogate 간 재dundancy의 차이가 분류에 대한 통계적 신뢰도를 제공하였다.
• 이 방법의 계산 비용은 예측기 학습 및 테스트보다 크게 낮아 예비 분석에 효율적이었다.