[논문 리뷰] Interaction between Truth and Belief as the key to entropy and other quantities of statistical physics

Flemming Topsøe|ArXiv.org|2008. 07. 27.

Statistical Mechanics and Entropy참고 문헌 3인용 수 3

한 줄 요약

이 논문은 객관적 진리(x)와 주관적 신념(y) 간의 상호작용을 모델링하여 엔트로피 및 관련 통계역학적 양을 유일한 프레임워크로 유도한다. 약한 일致성 조건 하에서 복잡도 최소화에 기반한 변분 원리를 사용하여, πq(x,y) = qx + (1−q)y 형태의 매개변수화된 상호작용 함수와 κq(y) = lnq(1/y) 형태의 q-로그 코더를 통해 히츠라스 엔트로피 가족과 관련된 산란 측도를 유도한다. 여기서 q ≥ 0이다.

ABSTRACT

The notion of entropy penetrates much of science. A key feature of the all-important notion of Boltzmann-Gibbs-Shannon entropy is its extensivity (additivity over independent subsystems). However, there is a need for other quantities. In statistical physics a parameterized family of non-extensive entropy measures, now mainly known under the name of Tsallis-entropies, have received much attention but also been met with criticism due mainly to a lack of convincing interpretations. Based on the hypothesis that interaction between Truth, held by ``Nature'', and Belief, as expressed by man, may take place, classical- as well as non-classical measures of entropy and other essential quantities are derived. The approach aims at providing a genuine interpretation, rather than relying either on analogies based on formal mathematical manipulations or else - more fruitfully, but not satisfactory - on axiomatic characterizations.

연구 동기 및 목표

• 비확장 엔트로피 측도, 특히 히츠라스 엔트로피에 대한 진정한 물리적 해석을 축적론적 또는 형식적 유사성 이상으로 제공하기 위해.
• 비확장 통계역학에서 오랫동안 지속된 해석적 간극을 진리와 신념 간의 원리적인 상호작용에 기반하여 해소하기 위해.
• 물리적으로 유용한 최소한의 가정을 사용하여 제1원리에서 매개변수화된 엔트로피, 복잡도, 산란 측도의 가족을 도출하기 위해.
• 히츠라스 엔트로피 프레임워크와 정보기하학 및 브레그만 산란 측도에 뿌리를 둔 변분 원리 사이의 공식적 연결을 수립하기 위해.

제안 방법

• 유한 알파벳 A 위에서 진리(x)와 신념(y)이 확률 분포로 표현되는 형식적 모델을 도입한다.
• 진리 x와 신념 y가 주어졌을 때 사건의 인식된 힘을 측정하는 연속적인 상호작용 함수 π(x,y)를 정의하며, 일致성 조건으로 π(x,x) = x를 설정한다.
• 각 신념 값 y에 대해 개별적인 복잡도를 할당하는 코더 함수 κ(y)를 도입하며, 정규화 조건으로 κ(1) = 0 및 κ′(1) = −1을 설정한다.
• 상호작용 하에서의 개별 노력의 가중합으로 표현되는 총 복잡도 Φq(x,y) = ∑i πq(xi,yi)κq(yi)를 정의한다.
• 변분 원리를 적용한다: 엔트로피 Hq(x)는 모든 신념 할당 y에 대해 최소 복잡도로 정의되며, 이는 y = x일 때 도달된다.
• 약한 일치 조건 하에서 최소 복잡도의 변분 원리에 따라 유일한 함수 형태 πq(x,y) = qx + (1−q)y 및 κq(y) = lnq(1/y)를 도출한다. 여기서 q ∈ [0,∞)이다.

실험 결과

연구 질문

• RQ1 비확장 엔트로피 측도, 예를 들어 히츠라스 엔트로피를 축적론적 또는 형식적 유사성 이상의 물리적 및 정보학적 기초에서 어떻게 도출할 수 있는가?
• RQ2 진리와 신념 간의 상호작용이 통계역학에서 엔트로피 및 산란 측도의 전체 가족을 생성하는 데 어떤 역할을 하는가?
• RQ3 상호작용 함수 π(x,y)가 일관된 확률 분포를 유도하는 조건은 무엇이며, 이는 매개변수 q와 어떻게 관련되는가?
• RQ4 히츠라스 엔트로피와 그 관련 산란 측도는 복잡도 최소화에 기반한 변분 원리로부터 유도될 수 있는가?
• RQ5 유도된 엔트로피 프레임워크에서 매개변수 q의 수학적 및 물리적 의미는 무엇인가?

주요 결과

• 약한 일치 조건과 최소 복잡도의 변분 원리 하에서 상호작용 함수 πq(x,y) = qx + (1−q)y 및 코더 κq(y) = lnq(1/y)는 유일하게 결정된다.
• 유도된 엔트로피 Hq(x) = ∑i xi lnq(1/xi)는 정확히 q계열의 히츠라스 엔트로피에 해당하며, H1(x)는 볼츠만-지브스-샤논 엔트로피로 축소된다.
• 강한 일치 조건(즉, πq(x,y)가 확률 분포를 이룬다)이 성립하는 것은 q ∈ [0,1]일 때에만 가능하며, 이는 히츠라스 통계의 유효 도메인에 물리적 해석을 제공한다.
• 산란 Dq(x,y) = Φq(x,y) − Hq(x)는 브레그만 산란의 일반화이며, 그 구조는 상호작용 및 코더 함수에 의해 완전히 결정된다.
• 이 프레임워크는 고전적 경우(q=1)와 비확장 경우(q≠1)를 자연스럽게 포함하며, q=0은 특이하지만 잘 정의된 극한 경우에 해당한다.
• 유도 과정은 변분법에 기반하며 브레그만 산란 이론과 연결되어 있어 히츠라스 형식주의에 엄밀한 수학적 기반을 제공한다.