[論文レビュー] Rooted Trees with Probabilities Revisited

Georg Böcherer|arXiv (Cornell University)|Feb 4, 2013

Wireless Communication Security Techniques参考文献 3被引用数 5

ひとこと要約

本稿は確率を伴う根付き木を再考し、微分型LANSITを導入して、エントロピー率や情報的発散といった葉の分布の正規化関数を分岐分布上の期待値として表現する。主な貢献は、Pinskerの不等式の木構造への応用であり、分布と積分布との正規化発散が0に近づくならば、エントロピー率が積分布のエントロピー率に収束することを示している。

ABSTRACT

Rooted trees with probabilities are convenient to represent a class of random processes with memory. They allow to describe and analyze variable length codes for data compression and distribution matching. In this work, the Leaf-Average Node-Sum Interchange Theorem (LANSIT) and the well-known applications to path length and leaf entropy are re-stated. The LANSIT is then applied to informational divergence. Next, the differential LANSIT is derived, which allows to write normalized functionals of leaf distributions as an average of functionals of branching distributions. Joint distributions of random variables and the corresponding conditional distributions are special cases of leaf distributions and branching distributions. Using the differential LANSIT, Pinsker's inequality is formulated for rooted trees with probabilities, with an application to the approximation of product distributions. In particular, it is shown that if the normalized informational divergence of a distribution and a product distribution approaches zero, then the entropy rate approaches the entropy rate of the product distribution.

研究の動機と目的

• 確率を伴う根付き木における葉平均ノード和交換定理（LANSIT）を連続的かつ正規化関数へ拡張すること。
• パス長を用いて元のLANSITを正規化することで微分型LANSITを導出し、正規化関数（例：エントロピー率、発散）を分岐ノード分布上の期待値として表現すること。
• 分岐分布のバリエーション距離と関連する正規化情報発散を結びつける、木構造的Pinskerの不等式の類似形を確立すること。
• 分布が木構造上で積分布に近づく際のエントロピー率の漸近的挙動を分析すること。
• 正規化発散の収束がエントロピー率や分岐分布の他の関数への収束を示すことを実証すること。

提案手法

• パス長を用いてLANSITを正規化し、PB(j) = Qj / E[w(L)] により分岐ノード上に分布を定義することで、微分型LANSITを導入する。
• 微分型LANSITを用いてエントロピーおよび発散の正規化版を導出する：H(PL)/E[w(L)] = E[H(PSB)] および D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)]。
• 微分型LANSITを用いて木構造的Pinskerの不等式を定式化する：D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)]。
• Markovの不等式および連続性の議論を用いて、正規化発散が0に近づくならば、分岐分布間の大きなバリエーション距離の確率も0に近づくことを示す。
• 関数（例：エントロピー、任意のg）の有界性および連続性を活用し、正規化発散が0に近づく下で、分岐分布上の期待値の収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 LANSITは、エントロピー率や発散といった正規化関数に対してどのように再定式化可能か？
• RQ2 Pinskerの不等式は確率を伴う根付き木に一般化可能か？ すなわち、正規化発散と分岐分布のバリエーション距離を結びつけるか？
• RQ3 葉の分布の正規化発散が積分布から0に近づくとき、エントロピー率はどのように変化するか？
• RQ4 正規化発散の収束が分岐行動の分布への収束を示すにはどのような条件下で成立するか？
• RQ5 分岐分布上の関数の連続性および有界性は、発散が0に近づく下での収束にどのように影響するか？

主な発見

• 微分型LANSITにより、正規化エントロピー率が E[H(PSB)] として表現可能であり、PSBは分岐ノード上の分布である。
• 葉の分布間の正規化情報発散は、分岐分布上の発散の期待値に等しい：D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)]。
• 木構造的Pinskerの不等式が確立された：D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)]。
• |L| → ∞ のとき、正規化発散 D(PL∥P+S∗)/E[w(L)] → 0 ならば、エントロピー率 H(PL)/E[w(L)] → H(PS∗) となる。
• 任意の有界かつ連続な関数 g について、正規化発散 D(PL∥P+S∗)/E[w(L)] → 0 のとき、E[g(PSB)] → g(PS∗) となる。