[논문 리뷰] Combinatorial Information Theory: I. Philosophical Basis of Cross-Entropy and Entropy

Robert K. Niven|ArXiv.org|2005. 12. 01.

Statistical Mechanics and Entropy참고 문헌 100인용 수 19

한 줄 요약

이 논문은 엔트로피와 교차엔트로피의 조합론적 기초를 가장 근본적인 기초로 설정하며, 스타링의 근사법을 통해 다항분포로부터 샤논과 쿨백-라이블러 측도를 유도한다. 비다항분포 시스템에 대해 유효한 일반화된 엔트로피 및 교차엔트로피 정의를 제안하여 통계역학, 추론 및 정보과학 분야에 응용 가능한 통합된 '조합론적 정보이론'을 가능하게 한다.

ABSTRACT

This study critically analyses the information-theoretic, axiomatic and combinatorial philosophical bases of the entropy and cross-entropy concepts. The combinatorial basis is shown to be the most fundamental (most primitive) of these three bases, since it gives (i) a derivation for the Kullback-Leibler cross-entropy and Shannon entropy functions, as simplified forms of the multinomial distribution subject to the Stirling approximation; (ii) an explanation for the need to maximize entropy (or minimize cross-entropy) to find the most probable realization; and (iii) new, generalized definitions of entropy and cross-entropy - supersets of the Boltzmann principle - applicable to non-multinomial systems. The combinatorial basis is therefore of much broader scope, with far greater power of application, than the information-theoretic and axiomatic bases. The generalized definitions underpin a new discipline of ``{\it combinatorial information theory}'', for the analysis of probabilistic systems of any type. Jaynes' generic formulation of statistical mechanics for multinomial systems is re-examined in light of the combinatorial approach. (abbreviated abstract)

연구 동기 및 목표

• 엔트로피와 교차엔트로피의 철학적 기초를 재평가하여 정보이론적 접근과 공리적 접근의 우선성을 도전한다.
• 보른츠만과 플랑크에 뿌리를 두고 있는 조합론적 접근이 엔트로피 개념에 있어 가장 근본적이고 원시적인 기초임을 보여준다.
• 스타링의 근사법 하에서 다항분포의 단순화된 형태로 샤논 엔트로피 및 쿨백-라이블러 엔트로피 함수를 도출한다.
• 다항분포 이외의 시스템으로 엔트로피와 교차엔트로피를 일반화하여 보스-아인슈타인, 페르미-디랙, 차일러 분포와 같은 비표준 분포에의 적용을 가능하게 한다.
• 모든 유형의 확률적 시스템에 대해 통계역학, 정보이론, 베이지안 추론을 하나의 조합론적 프레임워크로 통합한다.

제안 방법

• 스타링 근사법을 사용하여 다항분포에서 쿨백-라이블러 교차엔트로피 및 샤논 엔트로피를 유도한다.
• 통계적 가중치 W가 매크로상태의 통계적 가중치인 조합론적 엔트로피 정의 S = k ln W를 기초 원리로 사용한다.
• 최대 엔트로피 원리(또는 최소 교차엔트로피 원리)를 조합론적 수량 세기에서 가장 가능성이 높은 매크로상태를 찾는 결과로 적용한다.
• 비다항분포 시스템으로 확장된 일반화된 엔트로피 및 교차엔트로피 함수를 도입한다.
• 다른 엔트로피 측도(예: 레니, 차일러, 쇼마르티)를 그들의 기초가 되는 조합론적 구조를 통해 재해석한다.
• 조합론적 기초를 사용하여 제인스의 최대 엔트로피 형식을 통계역학에서 재검토하며, 일반화된 클라우지우스 부등식 및 자유 정보 함수와 같은 새로운 관계를 도출한다.

실험 결과

연구 질문

• RQ1 왜 엔트로피의 조합론적 기초가 정보이론적 또는 공리적 접근보다 더 근본적인가?
• RQ2 샤논 및 쿨백-라이블러 엔트로피 함수는 정보이론적 원리가 아니라 조합론적 원리에서 어떻게 도출될 수 있는가?
• RQ3 가장 가능성이 높은 매크로상태는 왜 엔트로피 최대화 또는 교차엔트로피 최소화를 정당화하는 데 기여하는가?
• RQ4 엔트로피와 교차엔트로피는 다항분포 이외의 시스템으로 일반화될 수 있으며, 만약 가능하면 그 방법은 무엇인가?
• RQ5 조합론적 접근은 어떻게 통계역학, 정보이론, 베이지안 추론을 통합하는가?

주요 결과

• 보른츠만의 W = Ω에 뿌리를 두고 있는 조합론적 기초는 스타링의 공식을 통한 다항분포의 근사화로서 샤논 엔트로피 및 쿨백-라이블러 교차엔트로피를 가장 근본적으로 도출한다.
• 엔트로피 최대화(또는 교차엔트로피 최소화)는 임의의 원리가 아니라 조합론적 수량 세기 프레임워크에서 가장 가능성이 높은 매크로상태를 식별하는 결과이다.
• 비다항분포 시스템으로 확장된 일반화된 엔트로피 및 교차엔트로피 함수를 도입하여 양자 통계 및 기타 비표준 분포에의 적용을 가능하게 한다.
• 논문은 일반화된 클라우지우스 부등식, 일반화된 자유 에너지 함수 (