[논문 리뷰] α-divergence derived as the generalized rate function in a power-law system

Hiroki Suyari, A.M. Scarfone|arXiv (Cornell University)|2014. 12. 11.

Statistical Mechanics and Entropy참고 문헌 22인용 수 2

한 줄 요약

이 논문은 정밀한 q-Stirling의 공식을 통해 일반화된 이항분포를 엄밀히 구성함으로써, 타슬리스 통계에서 α-발산(또는 q-발산)을 일반화된 비율 함수로 유도한다. α → −1 (q → 1)일 때 α-발산이 칼람블러-라이블러 발산으로 줄어들며, 이는 고전적 정보이론과의 일致성을 확인함과 동시에 사전에 q-정규분포를 가정하지 않고도 체계적인 법칙을 가진 시스템으로의 확장이 가능함을 보여준다.

ABSTRACT

Abstract—The generalized binomial distribution in Tsallisstatistics (power-law system) is explicitly formulated from theprecise q-Stirling’s formula. Theα-divergence (orq-divergence)is uniquely derived from the generalized binomial distributionin the sense that when α → −1 (i.e., q → 1) it recovers KLdivergence obtained from the standard binomial distribution.Based on these combinatorial considerations, it is shown thatα-divergence (or q-divergence) is appeared as the generalizedrate function in the large deviation estimate in Tsallis statistics. I. I NTRODUCTION The large deviation principle (LDP for short) has mathemat-ically presented and quantified the asymptotic behavior of t heprobabilities of rare events in many stochastic phenomena. Ithas brought about deep significant insights for understandi ngof each phenomena [1][2][3]. The LDP covers quite broadareas ranging from the fundamentals in probability theoryand statistics to its applications such as statistical physics[4][5], risk management [6], information theory [7] and soon. In most of theoretical results in LDP, the assumption of“i.i.d. (independent and identically distributed)” for ra ndomvariables is used. This assumption leads to the discussion onthe exponential decay of rare events in stochastic phenomenawith great help of many well-established theoretical resultsbased on “i.i.d.” assumption. This strong “i.i.d.” assumpt ionhas been often tried to be weakened in many studies. Oneof the reasons is that actual observations generally do notsatisfy i.i.d. assumptions. A typical and well-known exampleis power-law behavior often observed in strongly correlatedsystems. In these cases we take Tsallis statistics as one ofsuch power-law systems because its mathematical foundationshas been widely explored [8].Along similar studies on LDP related with Tsallis statistics,there are a few papers such as [9] and [10]. The paper [9]discusses the possibility of LDP for the strongly correlatedrandom variables in Tsallis statistics. They consider the corre-lated coin tossing model based on the q-Gaussian distributionand numerically evaluate the possibility of a q-generalizationof LDP for a given q-divergence. On the other hand, ourpresent paper does not require the q-Gaussian distribution andthe q-divergence in advance for the large deviation estimate.Our approach is completely analytical starting from the funda-mental nonlinear differential equation dy/dx =y

연구 동기 및 목표

• 정밀한 q-Stirling의 공식을 사용하여 타슬리스 통계에서 일반화된 이항분포의 엄밀한 조합 기반을 확립한다.
• 사전에 q-정규분포와 같은 분포를 가정하지 않고, 체계적인 법칙을 가진 시스템의 맥락에서 α-발산(또는 q-발산)을 제1원리로부터 도출한다.
• α-발산이 타슬리스 통계 내의 대수적 거리 추정에서 일반화된 비율 함수로서 자연스럽게 나타남을 보여준다.
• q → 1일 때 칼람블러-라이블러 발산과의 일致성을 보여줌으로써 고전적 대수적 거리 이론과 비광범위 통계역학을 통합한다.

제안 방법

• 정밀한 q-Stirling의 공식을 사용하여 비광범위 시스템 내의 조합 계수의 정확한 점근적 분석을 가능하게 하는 일반화된 이항분포를 도출한다.
• 일반화된 이항분포를 적용하여 체계적인 법칙을 가진 시스템에서의 대수적 거리 이론 내 비율 함수로 α-발산을 도출한다.
• 비독립적이고 비정상적인 체계적인 법칙 상관관계를 가진 i.i.d.-유사 수열에서 희귀 사건의 점근적 행동을 일반화된 이항분포 프레임워크를 통해 분석한다.
• 시스템의 기본 비선형 미분방정식 dy/dx = y를 해결하여, 이와 q-지수함수 및 q-로그함수의 구조와 연결된 시스템의 동역학을 모델링한다.
• q-정규분포를 사전에 가정하지 않고도 α-발산이 일반화된 이항분포의 조합적 구조에서 자연스럽게 유도됨을 보여준다.
• q → 1일 때 α-발산이 칼람블러-라이블러 발산으로 수렴함을 보여줌으로써 도출된 α-발산의 일치성을 검증한다.

실험 결과

연구 질문

• RQ1 타슬리스 통계에서 일반화된 이항분포는 정밀한 q-Stirling의 공식으로부터 어떻게 엄밀히 유도될 수 있는가?
• RQ2 α-발산은 체계적인 법칙을 가진 시스템에서의 대수적 거리 추정에서 비율 함수로서 어떻게 유도되는가?
• RQ3 사전에 q-정규분포를 가정하지 않고도 α-발산을 유도할 수 있는가?
• RQ4 q → 1일 때 α-발산은 어떻게 칼람블러-라이블러 발산으로 줄어들게 되는가?
• RQ5 비선형 미분방정식 dy/dx = y는 시스템의 기초 통계역학을 모델링하는 데 어떤 역할을 하는가?

주요 결과

• 정밀한 q-Stirling의 공식을 사용하여 타슬리스 통계 내의 일반화된 이항분포를 엄밀히 유도함으로써, 비광범위 시스템에 대한 견고한 조합적 기반을 확보하였다.
• α-발산은 체계적인 법칙을 가진 시스템에서의 대수적 거리 이론 내 비율 함수로서 일반화된 이항분포에서 유일하게 도출되었다.
• α → −1 (q → 1)일 때 도출된 α-발산은 칼람블러-라이블러 발산으로 수렴함을 확인하였으며, 이는 고전적 정보이론과의 일치성을 보여준다.
• 이 유도 과정은 사전에 q-정규분포를 필요로 하지 않아 이전 접근보다 더 근본적이고 일반적인 성격을 지닌다.
• 비선형 미분방정식 dy/dx = y는 시스템의 동역학을 뒷받침하는 기초를 제공하며, 이는 타슬리스 통계 내의 q-지수함수 및 q-로그함수의 구조와 연결된다.
• α-발산은 강한 상관관계를 지닌 체계적인 법칙을 가진 시스템에서의 대수적 거리 원리 내 비율 함수의 자연스러운 일반화로 확립되었다.