[논문 리뷰] Regularities Unseen, Randomness Observed: Levels of Entropy Convergence

James P. Crutchfield, David P. Feldman|arXiv (Cornell University)|2001. 02. 09.

Statistical Mechanics and Entropy인용 수 7

한 줄 요약

이 논문은 확률적 및 결정적 과정의 진짜 엔트로피 비율에 대해 유한한 데이터로 추정한 엔트로피의 수렴 방식을 분석하기 위한 프레임워크를 제안한다. 이는 엔트로피 성장 곡선의 연속된 도함수를 분석함으로써 이루어지며, 짧은 시계열에서 관측되지 않은 규칙성이 무작위성으로 오분류되어 예측 불가능성의 체계적 과대평가가 발생함을 드러내며, 구조적 기억과 관측자 동기화를 측정하기 위해 새로운 측정치인 초과 엔트로피(E), 일시적 정보(T), 엔트로피 수렴 수준(G)을 제안한다.

ABSTRACT

We study how the Shannon entropy of sequences produced by an information source converges to the source's entropy rate. We synthesize several phenomenological approaches to applying information theoretic measures of randomness and memory to stochastic and deterministic processes by using successive derivatives of the Shannon entropy growth curve. This leads, in turn, to natural measures of apparent memory stored in a source and the amounts of information that must be extracted from observations of a source in order for it to be optimally predicted and for an observer to synchronize to it. One consequence of ignoring these structural properties is that the missed regularities are converted to apparent randomness. We demonstrate that this problem arises particularly for small data sets; e.g., in settings where one has access only to short measurement sequences.

연구 동기 및 목표

• 동역학적 및 확률 과정에서 나타나는 가짜 무작위성의 원인을 밝혀내며, 특히 유한한 데이터와 관측자 한계에서 기인하는 요인들을 분리하고자 한다.
• 블록 엔트로피와 엔트로피 비율의 차이로부터 유도된 총 예측 정보를 기반으로, 엔트로피 도함수를 사용하여 구조적 기억과 예측 가능성의 통합된 정보이론적 프레임워크를 개발하고자 한다.
• 짧은 시계열에서 관측되지 않은 규칙성이 무작위성으로 오분류되어 엔트로피 비율 추정이 왜곡됨을 다루고자 한다.
• 초과 엔트로피(E), 일시적 정보(T), 엔트로피 수렴 수준(G)과 같은 측정치를 도입하고 형식화하여 소스의 구조적 및 예측적 특징을 캡처하고자 한다.
• 관측자 한계, 데이터 길이, 그리고 복잡계에서 엔트로피 비율 추정의 정확도 사이의 관계를 명확히 하고자 한다.

제안 방법

• 엔트로피 추정치의 수렴 행동을 분석하기 위해 샤논 엔트로피 성장 곡선의 연속된 도함수를 사용한다.
• 초과 엔트로피(E)를 프로세스의 총 예측 정보로 정의하며, 이는 블록 엔트로피와 엔트로피 비율의 차이에서 유도된다.
• 일시적 정보(T)를 첫 L개 기호의 엔트로피와 점 渐진 엔트로피 비율의 차이로 정의한다.
• 엔트로피 수렴 수준(G)을 엔트로피 추정치가 진짜 엔트로피 비율에 수렴하는 데 걸리는 속도를 측정하는 척도로 제안한다.
• 이러한 측정치를 확률 과정과 결정적 과정, 특히 혼돈 시스템과 기호 동역학에 적용한다.
• 컴putational mechanics에서의 ε-머신 표현을 사용하여 소스의 구조를 형식화하고, 이를 엔트로피 수렴 행동과 연결한다.

실험 결과

연구 질문

• RQ1 확률적 및 결정적 과정에서 유한 데이터로 추정한 엔트로피는 어떻게 진짜 엔트로피 비율로 수렴하는가?
• RQ2 관측되지 않은 기억 또는 구조적 규칙성이 짧은 시계열에서 나타나는 무작위성에 어떤 역할을 하는가?
• RQ3 제한된 데이터 길이나 측정 해상도 등의 관측자 한계가 엔트로피 비율 추정에 어떻게 체계적으로 왜곡을 초래하는가?
• RQ4 초과 엔트로피(E), 일시적 정보(T), 엔트로피 수렴 수준(G) 사이의 관계는 소스의 구조를 기술하는 데 어떻게 기여하는가?
• RQ5 ε-머신 표현을 사용하여 복잡한 소스에서 엔트로피 수렴 행동을 예측하고 분석할 수 있는가?

주요 결과

• 유한한 데이터가 부족할 경우 짧은 시계열에서 관측되지 않은 규칙성이 체계적으로 가짜 무작위성으로 전환되어 엔트로피 비율이 과대평가됨을 확인하였다.
• 초과 엔트로피(E)는 프로세스의 총 예측 정보를 측정하며, Bialek, Nemenman, Tishby의 이전 연구에서와 마찬가지로 모델의 매개변수 수와 관련이 있음이 입증되었다.
• 일시적 정보(T)는 유한 길이의 관측으로 포착되지 않는 기억을 정량화하며, 무작위성 과대평가에 기여한다.
• 엔트로피 수렴 수준(G)은 엔트로피 추정치가 진짜 엔트로피 비율에 도달하는 데 걸리는 속도를 자연스럽게 측정하는 척도를 제공하며, 다양한 프로세스에서 다른 수렴 행동이 관찰됨을 확인하였다.
• 이 프레임워크는 특히 유한한 데이터로 포착되지 않는 기억을 忽略할 경우 엔트로피 비율 추정에 체계적인 오류가 발생함을 드러냈다.
• 논문은 엔트로피 비율 hμ가 메트릭 불변성임을 입증하였으며, 초과 엔트로피 E와 일시적 정보 T가 에르고딕 및 동역학계 이론에서도 중요할 수 있음을 제안하지만, 이는 향후 연구가 필요하다.