[논문 리뷰] Permutation Excess Entropy and Mutual Information between the Past and Future

Taichi Haruna, Kohei Nakajima|arXiv (Cornell University)|2011. 12. 12.

Cellular Automata and Applications참고 문헌 19인용 수 6

한 줄 요약

이 논문은 유한 상태 정적 에르고딕 마르코프 과정에서 순열 초과 엔트로피가 시간 시리즈의 과거 및 미래 순서형 배열(순열 유형) 간의 상호정보량과 동일하다는 것을 입증한다. 값 시계열과 그 순서형 패턴 사이의 이중성에 기반하여, 저자들은 순열 초과 엔트로피—순서형 수준에서의 장거리 의존성을 측정하는 척도—가 순열 공간에서의 예측 가능성으로 해석될 수 있음을 증명한다. 이는 전통적인 초과 엔트로피가 값 기반 시스템에서 수행하는 역할과 유사하다.

ABSTRACT

We address the excess entropy, which is a measure of complexity for stationary time series, from the ordinal point of view. We show that the permutation excess entropy is equal to the mutual information between two adjacent semi-infinite blocks in the space of orderings for finite-state stationary ergodic Markov processes. This result may shed a new light on the relationship between complexity and anticipation.

연구 동기 및 목표

• 순열 초과 엔트로피—순서형 패턴에 기반한 복잡도 척도—가 시간 시리즈의 전역 상관관계를 캡처하는지 조사하는 것.
• 값 기반 시계열과 그 순서형 유형 간의 이중성 관계를 통해 체계의 복잡도를 측정하는 방식을 탐색하는 것.
• 순서형 공간에서의 순열 초과 엔트로피와 상호정보량 간의 공식적 연결 고리를 수립하는 것.
• 순서형 패턴이 표준 초과 엔트로피와 유사한 방식으로 장거리 의존성을 인코딩할 수 있음을 보여주는 것.

제안 방법

• 저자들은 값 시계열과 그 순서형 유형 간의 이중성에 기반하여, 각 단어에 고유한 순서형 패턴을 할당하는 사상 φ를 정의한다.
• 순열 초과 엔트로피는 연결된 순열 블록의 엔트로피와 각 블록의 개별 엔트로피 합의 차이의 극한으로 정의된다.
• 핵심 기술적 도구는 레마 8로, 이는 이항계수와 역상 집합의 크기를 사용하여 공동 및 변별 순열 엔트로피 간의 차이를 한정한다.
• 유한 상태 정적 에르고딕 마르코프 과정에 대해, 비유일 순열 유형의 확률이 지수적으로 감소함을 보여, 극한이 수렴함을 입증한다.
• 증명은 순열 유형에 대한 조건부 분포와 변별 분포 간의 쿨백-라이블러 발산을 사용하여 엔트로피 차이를 한정하는 데 의존한다.
• 주요 결과는 순열 공간에서의 초과 엔트로피가 인접한 반무한 블록의 순열 유형 간의 상호정보량으로 수렴함을 보여, 이를 통해 유도한다.

실험 결과

연구 질문

• RQ1 순열 초과 엔트로피는 순서형 패턴 공간에서의 전역 상관관계 측정 척도로 해석될 수 있는가?
• RQ2 정적 확률 과정에서 값 기반과 순서 기반 복잡도 척도 간에 이중성 관계가 존재하는가?
• RQ3 마르코프 과정에서 과거와 미래 순열 유형 간의 상호정보량이 순열 초과 엔트로피와 동일한가?
• RQ4 비유일 순열 유형의 감쇠 속도는 순열 초과 엔트로피의 수렴에 어떤 영향을 미치는가?

주요 결과

• 유한 상태 정적 에르고딕 마르코프 과정에서 순열 초과 엔트로피는 정확히 과거 및 미래 순열 유형 간의 상호정보량과 동일하다.
• 상호정보량 표현은 조각 길이 L이 무한대에 접근할 때의 극한에서 성립하며, 이는 순열 초과 엔트로피가 순서형 수준에서의 예측 가능성을 측정함을 확인한다.
• 공동 및 변별 순열 엔트로피 간의 차이는 O(α^L)로 한정되며, 이는 극한의 수렴을 보장한다. 여기서 0 < α < 1이다.
• 엔트로피 차이의 한계는 비유일 순열 유형의 수에 의존하며, 이는 이항계수에 의해 제어되고 L에 따라 지수적으로 감소한다.
• 결과는 순열 초과 엔트로피가 표준 초과 엔트로피와 동일한 방식으로 장거리 의존성을 캡처함을 확인한다. 다만, 이는 과정의 순서형 표현에서 이루어진다.