[論文レビュー] Weighted information and entropy rates

Yuri Suhov, Izabella Stuhl|arXiv (Cornell University)|Dec 29, 2016

Statistical Mechanics and Entropy参考文献 14被引用数 3

ひとこと要約

本稿では、加法的および乗法的重み関数（WF）を用いて確率過程における重み付きエントロピーおよび情報レートを導入し、漸近的スケーリング則を確立する。加法的WFでは$\frac{1}{n^2}H^\mathrm{w}_{\phi_n}$、乗法的WFでは$\frac{1}{n}\log H^\mathrm{w}_{\phi_n}$がそれぞれ適用される。定常過程におけるエルゴード的およびマルコフ過程の主レートおよび副レートを導出し、ガウス過程における重み付きエントロピーの明示的公式を含め、シャノン–マクミルラン–ブライアンの定理を重み付きエントロピーへ一般化する。

ABSTRACT

The weighted entropy $H^{ m w}_ϕ(X)=H^{ m w}_ϕ(f)$ of a random variable $X$ with values $x$ and a probability-mass/density function $f$ is defined as the mean value ${\mathbb E} I^{ m w}_ϕ(X)$ of the weighted information $I^{ m w}_ϕ(x)=-ϕ(x)\log\,f(x)$. Here $x\mapstoϕ(x)\in{\mathbb R}$ is a given weight function (WF) indicating a 'value' of outcome $x$. For an $n$-component random vector ${\mathbf{X}}_0^{n-1}=(X_0,\ldots ,X_{n-1})$ produced by a random process ${\mathbf{X}}=(X_i,i\in{\mathbb Z})$, the weighted information $I^{ m w}_{ϕ_n}({\mathbf x}_0^{n-1})$ and weighted entropy $H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ are defined similarly, with an WF $ϕ_n({\mathbf x}_0^{n-1})$. Two types of WFs $ϕ_n$ are considered, based on additive and a multiplicative forms ($ϕ_n({\mathbf x}_0^{n-1})=\sum\limits_{i=0}^{n-1}φ (x_i)$ and $ϕ_n({\mathbf x}_0^{n-1})=\prod\limits_{i=0}^{n-1}φ (x_i)$, respectively). The focus is upon ${\it rates}$ of the weighted entropy and information, regarded as parameters related to ${\mathbf{X}}$. We show that, in the context of ergodicity, a natural scale for an asymptotically additive/multiplicative WF is $\frac{1}{n^2}H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ and $\frac{1}{n}\log\;H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$, respectively. This gives rise to ${\it primary}$ ${\it rates}$. The next-order terms can also be identified, leading to ${\it secondary}$ ${\it rates}$. We also consider emerging generalisations of the Shannon-McMillan-Breiman theorem.

研究の動機と目的

• 値に依存する重み関数（WF）を組み込むことで、エントロピー率の概念を重み付きエントロピーへ拡張すること。
• 特にエルゴード的、マルコフ的、ガウス的過程に焦点を当て、重み付き情報およびエントロピー率を定義し分析すること。
• 加法的WFでは$\frac{1}{n^2}$、乗法的WFでは$\frac{1}{n}\log$の適切な漸近的スケーリングを特定し、主レートおよび副レートパラメータを導出すること。
• 定常過程の文脈において、重み付きエントロピーに対するシャノン–マクミルラン–ブライアンの定理を一般化すること。
• 2次および指数的WFの下で、ガウス過程における重み付きエントロピー率の明示的表現を導出すること。

提案手法

• 重み付き情報 $I^{\mathrm{w}}_{\phi}(x) = -\phi(x)\log f(x)$ を定義し、ここで $\phi(x)$ は結果の価値を反映する重み関数であり、重み付きエントロピーを $H^{\mathrm{w}}_{\phi}(X) = \mathbb{E}[I^{\mathrm{w}}_{\phi}(X)]$ と定義する。
• ベクトル値過程 $\mathbf{X}_{0}^{n-1}$ に定義を拡張し、重み関数 $\phi_n(\mathbf{x}_{0}^{n-1})$ に対して、連合重み付きエントロピー $H^{\mathrm{w}}_{\phi_n}(f_n) = \mathbb{E}[I^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})]$ を定義する。
• 重み関数の2つのクラスを検討する：加法的（$\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$）および乗法的（$\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$）、乗法的ケースでは $\varphi \geq 0$ を仮定する。
• 漸近的スケーリングを確立：加法的WFでは $\frac{1}{n^2}H^{\mathrm{w}}_{\phi_n}$、乗法的WFでは $\frac{1}{n}\log H^{\mathrm{w}}_{\phi_n}$ を用い、主レートを定義する。
• エントロピー率展開における次なるオーダーの漸近的挙動を分析することで、副レート項を導出する。
• ガウス過程にこのフレームワークを適用し、モーメント生成関数および行列代数を用いて $H^{\mathrm{w}}_{\phi_n}(f_n)$ の明示的公式を導出する。

実験結果

リサーチクエスチョン

• RQ1 定常過程において加法的および乗法的重み関数を用いた重み付きエントロピー率の適切な漸近的スケーリングは何か？
• RQ2 エルゴード的およびマルコフ的過程における重み付きエントロピーの漸近的展開において、主レートおよび副レートはどのように生じるか？
• RQ3 加法的および乗法的WFの下で、重み付きエントロピーに対するシャノン–マクミルラン–ブライアンの定理を一般化できるか？
• RQ4 2次および指数的重み関数の下で、ガウス過程における重み付きエントロピー率の明示的表現は何か？
• RQ5 重み関数が非定数である場合、重み付きエントロピー率は標準エントロピー率とどのように関係するか？

主な発見

• 加法的重み関数 $\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$ の場合、主重み付きエントロピー率は $\lim_{n \to \infty} \frac{1}{n^2} H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$ として定義され、副レートは次なるオーダーの項から生じる。
• 乗法的重み関数 $\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$ の場合、主レートは $\lim_{n \to \infty} \frac{1}{n} \log H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$ であり、それに応じた副レート項が存在する。
• ガウス過程において $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\mathbf{x}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$ のとき、重み付きエントロピー率は $H^{\mathrm{w}}_{\phi_n}(f_n) = H(f_n) \exp(\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$ を満たし、重み付きエントロピーと標準エントロピーを結びつける。
• ガウス過程において $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\frac{1}{2} \mathbf{x}^T_{0,n-1} \mathbf{A}_n \mathbf{x}_{0,n-1})$ のとき、重み付きエントロピーは $H^{\mathrm{w}}_{\phi_n}(f_n) = \frac{H(f_n) + \mathrm{tr}[(\mathbf{I}_n - \mathbf{A}_n \mathbf{C}_n)^{-1}] \log e}{2 [\det(\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n)]^{1/2}}$ で与えられ、明示的公式が得られる。
• 比 $\frac{H(f_n)}{a(n)} \to \alpha$ が成り立つのは、$\frac{H^{\mathrm{w}}_{\phi_n}(f_n)}{a(n)} \exp(-\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1}) \to \alpha$ が成り立つときであり、これにより、特定のWF下での標準エントロピー率と重み付きエントロピー率の収束が同値であることが示される。
• 特に対象 $\mathbf{t} = \mathbf{0}$ のとき、重み付きエントロピー率 $H^{\mathrm{w}}_{\phi_n}(f_n)$ は $H(f_n)$ に比例し、$\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n$ のトレースおよび行列式を含む補正項を伴う。これにより、精密な漸近的解析が可能となる。