[논문 리뷰] Generic Variance Bounds on Estimation and Prediction Errors in Time Series Analysis: An Entropy Perspective

Song Fang, Mikael Skoglund외 3명|arXiv (Cornell University)|2019. 04. 09.

Statistical Mechanics and Entropy참고 문헌 22인용 수 6

한 줄 요약

이 논문은 시간 시리즈의 추정 및 예측 오차에 대한 일반적인 분산 경계를 정보이론적 접근을 통해 유도하며, 오차 경계가 과거 관측치를 조건으로 한 목표 변수의 조건부 엔트로피에 의해 결정됨을 보여준다. 주요 기여는 渐진적으로 최적의 예측을 위해서는 창조과정(이노베이션 프로세스)가 백색 가우시안이어야 하며, 이는 고전적 결과인 콜모고로프–츠에고와 위erner–마사니를 비가우시안 및 다단계 예측 설정으로 일반화한다는 것이다.

ABSTRACT

In this paper, we obtain generic bounds on the variances of estimation and prediction errors in time series analysis via an information-theoretic approach. It is seen in general that the error bounds are determined by the conditional entropy of the data point to be estimated or predicted given the side information or past observations. Additionally, we discover that in order to achieve the prediction error bounds asymptotically, the necessary and sufficient condition is that the "innovation" is asymptotically white Gaussian. When restricted to Gaussian processes and 1-step prediction, our bounds are shown to reduce to the Kolmogorov-Szegö formula and Wiener-Masani formula known from linear prediction theory.

연구 동기 및 목표

• 모든 인과 추정기나 예측기에게 적용 가능한 시간 시리즈의 추정 및 예측 오차에 대한 보편적인 분산 경계를 수립하는 것.
• 고전적 선형 예측 이론을 가우시안 과정과 1단계 예측을 초월하여 일반 분포 및 다단계 예측으로 확장하는 것.
• 점점 증가하는 예측 오차 경계를 달성하기 위한 필수 및 필요 충분 조건을 명확히 하는 것: 창조과정이 점점 증가하는 백색 가우시안이어야 한다.
• 한 개의 정보이론적 프레임워크 안에서 콜모고로프–츠에고 및 위erner–마사니 공식을 통합하고 일반화하는 것.
• 상호정보량과 부가 엔트로피율을 포함하는 추가 항을 통해 비가우시안성과 다단계 예측의 영향을 정량화하는 것.

제안 방법

• 측정하거나 예측할 데이터 포인트의 불확실성의 기본 척도로 조건부 엔트로피를 사용한다.
• 정보이론적 부등식을 적용하여 추정 및 예측 오차의 분산에 하한을 도출한다.
• 예측 후 잔차로 정의되는 '창조과정'의 개념을 도입하며, 이 창조과정이 점점 증가하는 백색 가우시안이면 기본 오차 경계에 도달하는 데 필수적이고 충분함을 보여준다.
• 1단계 예측과 비교해 추가적인 상호정보량 항을 포함하는 m단계 예측을 위한 일반화된 경계를 유도한다.
• 비가우시안 과정의 경우, 가우시안에서의 편차를 정량화하는 부가 엔트로피율 항을 도입하며, 비가우시안성이 증가할수록 오차 경계가 감소함을 보여준다.
• 고전적 결과와의 연결을 확립하여, 가우시안 과정과 1단계 예측의 경우 경계가 콜모고로프–츠에고 및 위erner–마사니 공식으로 축소됨을 보여준다.

실험 결과

연구 질문

• RQ1 기본 분포에 관계없이 시간 시리즈의 추정 및 예측 오차 분산에 대한 기본 정보이론적 한계는 무엇인가?
• RQ2 점점 증가하는 최소 예측 오차 분산을 달성하기 위해 창조과정이 만족해야 할 조건은 무엇인가?
• RQ3 비가우시안 과정에서 1단계 예측에서 m단계 예측으로 확장할 경우 오차 경계는 어떻게 변화하는가?
• RQ4 비가우시안성은 예측 오차 분산에 어떤 영향을 미치며, 이를 어떻게 정량화할 수 있는가?
• RQ5 제안된 경계는 가우시안 및 1단계 예측의 경우를 초월하여 고전적 콜모고로프–츠에고 및 위너–마사니 공식을 어떻게 일반화하는가?

주요 결과

• 예측 오차의 분산은 과거 관측치를 조건으로 한 목표 변수의 조건부 엔트로피를 포함하는 식으로 아래로 제한되며, 이는 잔여 불확실성을 정량화한다.
• 점점 증가하는 기본 예측 오차 경계에 도달하기 위한 필수 및 필요 충분 조건은 창조과정이 점점 증가하는 백색 가우시안이어야 한다는 것이다.
• 일반 과정에서의 m단계 예측의 경우, 예측의 복잡성이 증가함에 따라 증가하는 상호정보량 항을 포함하는 경계가 포함된다.
• 비가우시안 과정의 1단계 예측의 경우, 경계에 비례 상수로 부가 엔트로피율 항이 포함되며, 과정이 점점 더 가우시안에 가까워질수록 이 항이 감소한다.
• 가우시안 과정과 1단계 예측의 특수한 경우, 유도된 경계는 정확히 고전적 콜모고로프–츠에고 및 위너–마사니 공식으로 축소된다.
• 경계는 날카롭고, 예측 오차 과정이 점점 증가하는 백색 가우시안일 때 등호가 성립하며, 이는 모든 이용 가능한 정보가 추출되었음을 나타낸다.