[논문 리뷰] A measure of statistical complexity based on predictive information

Samer Abdallah, Mark D. Plumbley|arXiv (Cornell University)|2010. 12. 08.

Statistical Mechanics and Entropy인용 수 7

한 줄 요약

이 논문은 예측 정보 기반의 정보 이론적 측도인 '바인딩 정보'를 소개한다. 이는 랜덤 변수 집합의 고차원 상관관계를 측정하기 위해 고안된 것으로, 유한한 이진 시스템에서 바인딩 정보의 최대값은 $N-1$ 비트이며, 이는 '패리티' 과정에서 달성된다. 패리티 과정은 짝수 또는 홀수 패리티 기반으로 구성이 균일하게 분포하며, 다중정보와 같은 기존 측도가 '거대 비트' 과정을 선호하는 것과는 대조된다.

ABSTRACT

We introduce an information theoretic measure of statistical structure, called 'binding information', for sets of random variables, and compare it with several previously proposed measures including excess entropy, Bialek et al.'s predictive information, and the multi-information. We derive some of the properties of the binding information, particularly in relation to the multi-information, and show that, for finite sets of binary random variables, the processes which maximises binding information are the 'parity' processes. Finally we discuss some of the implications this has for the use of the binding information as a measure of complexity.

연구 동기 및 목표

• 쌍방향 상호작용을 초월하는 고차원 상관관계를 캡처하는 통계적 구조 측도를 개발하기 위해.
• 초과 엔트로피와 다중정보와 같은 기존 측도가 복잡한 비국소적 상관관계를 측정하는 데 한계를 보이는 문제를 해결하기 위해.
• 유한한 이산 시스템에서 바인딩 정보를 최대화하는 스토케스틱 과정의 유형을 규명하기 위해.
• 바인딩 정보와 다중정보, 예측 정보 사이의 이론적 및 실험적 경계를 설정하기 위해.
• 바인딩 정보가 전역적 비국소적 상관관계를 지닌 과정을 구분할 수 있는 복잡성 측도로서의 유용성을 입증하기 위해.

제안 방법

• 예측 정보율(Predictive Information Rate, PIR)의 광범위한 대응체로 바인딩 정보 $B(X_{\text{A}})$를 정의하여, 랜덤 변수 집합 전반의 총 예측 정보를 측정한다.
• 조건부 상호정보 항목을 사용하여 바인딩 정보를 구성한다: $B(X_{\text{A}}) = \frac{1}{2} \big[ H(X_{\text{A}}) + \text{개별 엔트로피의 합} - \text{조건부 엔트로피의 합} \big]$.
• 이론적 경계를 유도한다: $I(X_{\text{A}}) \triangleq \text{다중정보} \rightarrow B(X_{\text{A}}) \triangleq \text{바인딩 정보}$, 유한 시스템에서는 $I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ 및 $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$가 성립한다.
• 수치 알고리즘을 사용하여 $N = 37$까지의 경계를 검증하여 바인딩 정보와 다중정보 사이의 경험적 부등식을 확인한다.
• 유한한 이진 변수 $N$에 대해 바인딩 정보는 '모듈로-2' 과정(패리티 과정)에서 $N-1$ 비트로 최대화됨을 증명한다. 이 과정은 짝수 또는 홀수 패리티를 가진 모든 구성이 균일하게 분포한다.
• 패리티 과정의 구조(최대 바인딩)와 '거대 비트' 과정(최대 다중정보)을 대조하여, 서로 다른 상관관계 프로파일을 보여준다.

실험 결과

연구 질문

• RQ1 유한한 $N$개의 이산 랜덤 변수 집합에서 바인딩 정보의 최대값은 얼마이며, 어떤 과정이 이를 달성하는가?
• RQ2 바인딩 정보는 다중정보나 초과 엔트로피와 같은 기존 측도와 통계적 구조를 캡처하는 방식에서 어떻게 다를까?
• RQ3 바인딩 정보는 낮은 차수의 측도로는 탐지할 수 없는 비국소적 고차원 상관관계를 지닌 과정을 식별하는 데 사용될 수 있는가?
• RQ4 유한 시스템에서 바인딩 정보와 다중정보 사이의 관계는 무엇이며, 철학적 또는 경험적 경계가 날카로운가?
• RQ5 바인딩 정보를 최대화하는 과정은 유일한 구조적 또는 계산적 성질을 보이는가? 예를 들어, 낮은 차수에서는 의사독립적인가?

주요 결과

• 이진 랜덤 변수 $N$개에 대해 바인딩 정보의 최대값은 $N-1$ 비트이며, 이는 짝수 패리티와 홀수 패리티 분포라는 두 가지 '패리티' 과정에서 유일하게 달성된다.
• 패리티 과정의 바인딩 정보는 $N-1$ 비트이지만, 다중정보는 단지 1 비트에 불과하여, 다중정보를 최대화하는 과정과 뚜렷한 대비를 이룬다.
• '거대 비트' 과정은 다중정보를 $N-1$ 비트로 최대화하지만, 바인딩 정보는 단지 1 비트에 그치며, 이는 바인딩 정보가 다른 구조적 특성을 캡처한다는 것을 확인한다.
• 경험적 경계는 $I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ 및 $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$를 제안하며, $N = 37$까지의 수치적 검증을 통해 확인된다.
• 바인딩 정보는 변환에 대해 불변이며 광범위한 성분을 가질 수 있어, 본질적으로 부분광범위적인 예측 정보와는 구별된다.
• 패리티 과정은 '의사독립적' 시스템의 사례이다. $N$개 이하의 변수만 관측할 경우 독립적으로 보이지만, 전역적 상관관계가 강하게 존재하므로 바인딩 정보 기준으로 최대 복잡성의 이상적인 후보가 된다.