[論文レビュー] α-divergence derived as the generalized rate function in a power-law system

Hiroki Suyari, A.M. Scarfone|arXiv (Cornell University)|Dec 11, 2014

Statistical Mechanics and Entropy参考文献 22被引用数 2

ひとこと要約

この論文は、正確な q-Stirling の公式を用いて一般化された二項分布を厳密に定式化することで、Tsallis 統計における一般化されたレート関数としての α-発散（q-発散）を導出する。α → −1（q → 1）の極限において、α-発散が Kullback-Leibler 発散に還元されることを示し、q-ガウス分布を事前に仮定せずに、パワー則系へと一般化された情報理論との整合性を確認する。

ABSTRACT

Abstract—The generalized binomial distribution in Tsallisstatistics (power-law system) is explicitly formulated from theprecise q-Stirling’s formula. Theα-divergence (orq-divergence)is uniquely derived from the generalized binomial distributionin the sense that when α → −1 (i.e., q → 1) it recovers KLdivergence obtained from the standard binomial distribution.Based on these combinatorial considerations, it is shown thatα-divergence (or q-divergence) is appeared as the generalizedrate function in the large deviation estimate in Tsallis statistics. I. I NTRODUCTION The large deviation principle (LDP for short) has mathemat-ically presented and quantified the asymptotic behavior of t heprobabilities of rare events in many stochastic phenomena. Ithas brought about deep significant insights for understandi ngof each phenomena [1][2][3]. The LDP covers quite broadareas ranging from the fundamentals in probability theoryand statistics to its applications such as statistical physics[4][5], risk management [6], information theory [7] and soon. In most of theoretical results in LDP, the assumption of“i.i.d. (independent and identically distributed)” for ra ndomvariables is used. This assumption leads to the discussion onthe exponential decay of rare events in stochastic phenomenawith great help of many well-established theoretical resultsbased on “i.i.d.” assumption. This strong “i.i.d.” assumpt ionhas been often tried to be weakened in many studies. Oneof the reasons is that actual observations generally do notsatisfy i.i.d. assumptions. A typical and well-known exampleis power-law behavior often observed in strongly correlatedsystems. In these cases we take Tsallis statistics as one ofsuch power-law systems because its mathematical foundationshas been widely explored [8].Along similar studies on LDP related with Tsallis statistics,there are a few papers such as [9] and [10]. The paper [9]discusses the possibility of LDP for the strongly correlatedrandom variables in Tsallis statistics. They consider the corre-lated coin tossing model based on the q-Gaussian distributionand numerically evaluate the possibility of a q-generalizationof LDP for a given q-divergence. On the other hand, ourpresent paper does not require the q-Gaussian distribution andthe q-divergence in advance for the large deviation estimate.Our approach is completely analytical starting from the funda-mental nonlinear differential equation dy/dx =y

研究の動機と目的

• 正確な q-Stirling の公式を用いて、Tsallis 統計における一般化された二項分布の組み合わせ的基礎を厳密に確立すること。
• q-ガウス分布のような事前仮定に依存せずに、パワー則系の文脈で第一原理から α-発散（q-発散）を導出すること。
• Tsallis 統計における大偏差推定において、α-発散が一般化されたレート関数として自然に導かれる様子を示すこと。
• q → 1 の極限で Kullback-Leibler 発散と整合することを示すことで、古典的大偏差理論と非拡張統計力学を統合すること。

提案手法

• 正確な q-Stirling の公式を用いて一般化された二項分布を導出し、非拡張系における組み合わせ係数の正確な漸近的解析を可能にする。
• 一般化された二項分布を応用して、パワー則系の大偏差理論における α-発散をレート関数として導出する。
• 非 i.i.d. のパワー則相関を持つ i.i.d.-に類似した系列における希少事象の漸近的挙動を、一般化された二項分布フレームワークを用いて分析する。
• 系の背後にある力学を記述するための基本的な非線形微分方程式 dy/dx = y を解き、q-指数関数および q-対数関数構造と関連付ける。
• q-ガウス性を仮定せずとも、一般化された二項分布の組み合わせ的構造から α-発散が自然に導かれることが示される。
• q → 1（α → −1）の極限において α-発散が Kullback-Leibler 発散に収束することを示し、導出結果の整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Tsallis 統計における一般化された二項分布は、正確な q-Stirling の公式からどのように厳密に導出可能か？
• RQ2 パワー則系の大偏差推定において、α-発散はどのような形でレート関数として現れるか？
• RQ3 事前に q-ガウス分布を仮定せずに、α-発散を導出することは可能か？
• RQ4 古典的極限 q → 1 において、α-発散はどのように Kullback-Leibler 発散に還元されるか？
• RQ5 非線形微分方程式 dy/dx = y は、系の背後にある統計力学的ダイナミクスをどのようにモデル化するか？

主な発見

• 正確な q-Stirling の公式を用いて、Tsallis 統計における一般化された二項分布が厳密に導出され、非拡張系のための堅固な組み合わせ的基盤が提供される。
• パワー則系の大偏差理論において、α-発散が一般化された二項分布から一意に導出され、レート関数としての役割を果たす。
• α → −1（q → 1）の極限において、導出された α-発散が Kullback-Leibler 発散に収束することが確認され、古典的情報理論との整合性が裏付けられる。
• 導出には事前に q-ガウス分布を仮定する必要がなく、従来の手法よりもより根本的かつ一般的であることが示される。
• 非線形微分方程式 dy/dx = y が、系のダイナミクスを規定するものであり、Tsallis 統計における q-指数関数および q-対数関数構造と関連付けられる。
• α-発散が、強い相関関係とパワー則を示す系における大偏差原理の自然な一般化されたレート関数として確立される。