[논문 리뷰] Predictive Information

William Bialek, Naftali Tishby|ArXiv.org|1999. 02. 25.

Statistical Mechanics and Entropy인용 수 26

한 줄 요약

이 논문은 시간 시리즈의 복잡성 척도로 예측 정보를 도입하며, 예측 정보는 과거와 미래 데이터 스트림 간의 상호정보량으로 정의된다. 이는 비가역적 부분광범위 성분이 국소적 변환에 대한 불변성 원칙 하에서 모델 복잡성을 유일하게 측정함으로써, 일관되고 정보이론적인 동역학적 풍부성 척도를 제공한다.

ABSTRACT

Observations on the past provide some hints about what will happen in the future, and this can be quantified using information theory. The ``predictive information'' defined in this way has connections to measures of complexity that have been proposed both in the study of dynamical systems and in mathematical statistics. In particular, the predictive information diverges when the observed data stream allows us to learn an increasingly precise model for the dynamics that generate the data, and the structure of this divergence measures the complexity of the model. We argue that divergent contributions to the predictive information provide the only measure of complexity or richness that is consistent with certain plausible requirements.

연구 동기 및 목표

• 국소적 변환에 대해 불변인 일관되고 정보이론적인 복잡성 척도를 정의하기 위해.
• 시간 시리즈에서 관련 예측 정보와 관련 없는 관측 데이터를 구분하는 문제를 해결하기 위해.
• 특히 장거리 상관관계가 있는 임계점에서의 복잡한 동역학의 풍부성을 포착하는 예측 정보의 유일한 성분을 규명하기 위해.
• 정보이론, 통계역학 및 동역학계 이론의 개념을 통합하기 위해 복잡성의 기초를 예측 정보의 발산에 둔다.

제안 방법

• 예측 정보를 과거와 미래 데이터 스트림 간의 상호정보량으로 정의한다: $ I_{\text{pred}}(T) = 2S(T) - S(2T) $, 여기서 $ S(T) $ 는 지속 시간 $ T $ 의 시간 창의 엔트로피이다.
• 연속 근사에서 잘 정의된 정보 척도를 확보하기 위해 기준 분포 $ Q[x(t)] $ 와 상대 엔트로피를 사용하여 좌표 불변성을 확보한다.
• 기준 분포 $ Q[x(t)] $ 를 국소 연산자(예: 단거리 상관관계)로 구성된 것으로 제한하여, 상전이의 부재와 광범위성 확보를 보장한다.
• 예측 정보 $ I_{\text{pred}}(T) $ 의 발산하는 부분광범위 성분을 국소 기준 분포의 변화에 대해 불변인 복잡성의 유일한 척도로 식별한다.
• 이 발산 성분이 $ T \to \infty $ 일 때 증가하는 관측 시간 동안 기저 동역학에 대해 배울 수 있는 정보의 양을 측정함을 입증한다. 특히 장수상관 시간을 가진 시스템에서 유의미하다.
• 복잡성 척도의 모호성을 제거하기 위해 불변성 원리를 적용하여, 유일하게 물리적으로 의미 있는 것은 발산하는 부분광범위 항임을 보여준다.

실험 결과

연구 질문

• RQ1 신호의 국소적 재매개변수화에 대해 어떤 예측 정보 성분이 불변이며, 왜 이것이 복잡성 측정에 특별히 적합한가?
• RQ2 예측 정보 $ I_{\text{pred}}(T) $ 는 $ T \to \infty $ 로 갈수록 어떻게 행동하며, 그 발산은 기저 동역학에 대해 무엇을 드러내는가?
• RQ3 왜 예측 정보는 부분광범위인가? 그리고 이는 관측된 대부분의 데이터가 미래 예측에 관련이 없다는 것을 어떻게 암시하는가?
• RQ4 시간 시리즈의 연속 근사에서 복잡성 척도가 고유하게 정의될 수 있는가? 만약 가능하면 어떤 불변 조건 하에서 가능한가?
• RQ5 예측 정보는 동역학계 및 통계학에서 알려진 복잡성 척도와 어떤 관계가 있는가?

주요 결과

• 예측 정보 $ I_{\text{pred}}(T) $ 는 부분광범위이므로 $ \lim_{T\to\infty} I_{\text{pred}}(T)/T = 0 $ 이다. 즉, 총 정보 중 예측 가능한 비율은 점점 줄어든다.
• 장거리 상관관계 또는 임계 행동을 보이는 시스템에서는 $ I_{\text{pred}}(T) $ 가 $ \sim \mu \ln T $ 와 같이 로그적으로 발산하여, 동역학의 학습 가능성 증가를 나타낸다.
• 예측 정보 $ I_{\text{pred}}(T) $ 의 발산하는 부분광범위 성분은 국소 연산자로 구성된 기준 분포의 변화에 대해 불변인 복잡성의 유일한 척도이다.
• 이 발산 성분은 관측 시간이 증가함에 따라 기저 동역학에 대해 배울 수 있는 정보의 양을 정량화한다.
• 이 척도는 국소 신호 변환(예: 국소 재매개변수화 또는 철자 변형)에 대해 불변하므로, 관찰자에 의존하는 기대치에 대해 강건하다.
• 이 프레임워크는 예측 정보의 발산 부분을 기본 복잡성 척도로 식별함으로써, 정보이론적, 통계적, 동역학계 이론적 관점을 통합한다.