[論文レビュー] On entropy for mixtures of discrete and continuous variables

Chandra Nair, Balaji Prabhakar+1 more|ArXiv.org|Jul 14, 2006

Bayesian Methods and Mixture Models参考文献 3被引用数 24

ひとこと要約

本稿は、離散的および連続的成分を併せ持つ混合ペアの確率変数に対して、古典的な離散エントロピーおよび微分エントロピーを拡張することで、統一されたエントロピー枠組みを導入する。このアプローチにより、このような混合変数を含む双射写像におけるエントロピー保存性が保証され、ポアソン分割のようなシステムにおけるエントロピー率の恒等式の厳密な正当化が可能になる。主な結果として、分割されたポアソン過程のエントロピー率が理論的期待と一貫していることが示された。

ABSTRACT

Let $X$ be a discrete random variable with support $S$ and $f : S o S^\prime$ be a bijection. Then it is well-known that the entropy of $X$ is the same as the entropy of $f(X)$. This entropy preservation property has been well-utilized to establish non-trivial properties of discrete stochastic processes, e.g. queuing process \cite{prg03}. Entropy as well as entropy preservation is well-defined only in the context of purely discrete or continuous random variables. However for a mixture of discrete and continuous random variables, which arise in many interesting situations, the notions of entropy and entropy preservation have not been well understood. In this paper, we extend the notion of entropy in a natural manner for a mixed-pair random variable, a pair of random variables with one discrete and the other continuous. Our extensions are consistent with the existing definitions of entropy in the sense that there exist natural injections from discrete or continuous random variables into mixed-pair random variables such that their entropy remains the same. This extension of entropy allows us to obtain sufficient conditions for entropy preservation in mixtures of discrete and continuous random variables under bijections. The extended definition of entropy leads to an entropy rate for continuous time Markov chains. As an application, we recover a known probabilistic result related to Poisson process. We strongly believe that the frame-work developed in this paper can be useful in establishing probabilistic properties of complex processes, such as load balancing systems, queuing network, caching algorithms.

研究の動機と目的

• 離散的および連続的成分を併せ持つ混合ペアの確率変数に対して一貫性のあるエントロピー定義が欠如している問題を解決する。
• 混合変数を含む双射写像におけるエントロピー保存性の厳密な基礎を提供する。これは、複雑な確率的システムを分析する上で不可欠である。
• ネットワーク理論やキューイング理論でよく使われる直感的な「情報保存」の議論を形式的に正当化できるようにする。
• 連続時間マコフ連鎖における混合変数ダイナミクスを扱うエントロピー率の概念を拡張する。
• 固有の離散的選択と連続的タイミングを内蔵するシステムにおける既知の確率的結果の証明を、より簡潔かつ厳密に可能にする。

提案手法

• 混合ペア変数 $Z = (X,Y)$ に対して、離散エントロピー $H(X)$ および微分エントロピー $h(Y)$ を一般化するハイブリッドエントロピー測度 $\mathbb{H}$ を定義する。
• 純粋な離散的または連続的変数のエントロピーが、混合ペアフレームワークに埋め込まれた場合にも変わらないようにすることで一貫性を確保する。
• 変換行列の行列式を用いたヤコビアン基準を用いて、双射写像におけるエントロピー保存性の十分条件を確立する。
• 時間区間における経験エントロピーの極限的挙動を活用することで、連続時間過程へのフレームワークの適用を行う。
• 定常エルゴード過程のエントロピー率公式を用いて、変換後のシステムにおけるエントロピー率を計算・比較する。
• 置換に基づく写像（例：コイントスによるポイントのプロセスへの割り当て）はヤコビアン行列式が $\pm 1$ であるため、提案された定義のもとでエントロピーが保存されることを活用する。

実験結果

リサーチクエスチョン

• RQ1 離散的および連続的成分を併せ持つ確率変数に対して、どのように一貫性のあるエントロピーを定義できるか？
• RQ2 混合ペア確率変数間の双射写像がエントロピーを保存するのはどのような条件下か？
• RQ3 ポアソン分割における直感的なエントロピー率恒等式（全エントロピーが成分エントロピーとコイントスエントロピーの和に等しい）をどのように厳密に正当化できるか？
• RQ4 混合離散的・連続的状態ダイナミクスを有する連続時間マコフ連鎖のエントロピー率は何か？
• RQ5 提案されたエントロピー枠組みは、キューイングや負荷分散システムにおける既知の結果の証明をどのように簡略化または厳密に正当化できるか？

主な発見

• 提案されたエントロピー測度 $\mathbb{H}$ は、純粋な離散的または連続的変数が混合ペアフレームワークに埋め込まれた場合でもエントロピーが変わらないため、一貫性が保証される。
• ポアソン分割において、元の過程 $\mathcal{P}$ のエントロピー率とコイントス過程のエントロピー率の和が、2つの独立したベビー過程 $\mathcal{P}_1$ と $\mathcal{P}_2$ の結合エントロピー率に一致し、恒等式 $H_{ER}(\mathcal{P}_1,\mathcal{P}_2) = H_{ER}(\mathcal{P}) + \lambda(-p\log p - (1-p)\log(1-p))$ が確認された。
• $\mathcal{P}_1$ のエントロピー率が厳密に $\lambda p(1 - \log \lambda p)$ であることが示され、レート $\lambda p$ のポアソン過程の既知のエントロピー率と一致した。
• 同様に、$\mathcal{P}_2$ のエントロピー率は $\lambda(1-p)(1 - \log \lambda(1-p))$ として確認され、理論的期待と一致した。
• 本フレームワークにより、特にヤコビアン行列式が $\pm 1$ である（例：置換に基づく写像）ような混合変数を含む双射写像におけるエントロピー率保存性の厳密な証明が可能になった。
• 混合ダイナミクスを有する連続時間マコフ連鎖のエントロピー率は、時間経過における状態軌道の平均エントロピーの極限として計算可能であり、ハイブリッドシステムへの概念の拡張がなされた。