[論文レビュー] Mutual information decay for factors of IID

Balázs Gerencsér, Viktor Harangi|arXiv (Cornell University)|Mar 13, 2017

Markov Chains and Monte Carlo Methods被引用数 1

ひとこと要約

本稿は、d ≥ 3 における d-正則木上の i.i.d. 要因過程における頂点ラベル間の相互情報量の減衰率について、鋭い上界と下界を確立する。普遍的な上界は (d−1)−k/2 の速度で減衰するが、個々の過程でははるかに速い、指数的減衰（(d−1)−k のオーダー）が観察される。これは、最悪ケースと典型的な振る舞いとの間で根本的な乖離があることを示している。結果はエントロピー不等式と、i.i.d. 正規分布の線形結合から得られる過程に符号変換を施して相関と相互情報量の減衰を制御可能な二値過程を構成する、新規な構成法を用いて証明される。

ABSTRACT

This paper is concerned with factor of i.i.d. processes on the $d$-regular tree for $d \geq 3$. We study the mutual information of the values on two given vertices. If the vertices are neighbors (i.e., their distance is $1$), then a known inequality between the entropy of a vertex and the entropy of an edge provides an upper bound for the (normalized) mutual information. In this paper we obtain upper bounds for vertices at an arbitrary distance $k$, of order $(d-1)^{-k/2}$. Although these bounds are sharp, we also show that an interesting phenomenon occurs here: for any fixed process the rate of decay of the mutual information is much faster, essentially of order $(d-1)^{-k}$.

研究の動機と目的

• d-正則木（d ≥ 3）上の i.i.d. 要因過程における頂点ラベル間の相互情報量の減衰速度を理解すること。
• 距離 k における相互情報量の既知の (d−1)−k/2 上界が、すべての過程に対してタイトであるか、あるいは特定の過程ではより速い減衰が生じるかを特定すること。
• 普遍的上界と個々の過程で観測される実際の減衰速度との乖離を調査すること。
• 相互情報量が (d−1)−k の速度で減衰するような、明示的な i.i.d. 要因過程の例を構成し、このより速い減衰速度の鋭さを示すこと。

提案手法

• 隣接頂点間で H(Xu,Xv) ≥ 2(d−1)/d H(Xv) が成り立つことを利用し、エントロピー不等式を用いて正規化された相互情報量の普遍的上界を導出する。
• 木構造上の情報伝播の再帰的解析を通じて、距離 k における相互情報量の減衰界を (d−1)−k/2 のオーダーで確立する。
• 係数 αk = k^{−1/2 + ε}/√(d−1)^k を適切に選ぶことで、相関の減衰を制御する線形 i.i.d. 正規過程を構成する。
• ガウス過程に符号関数を適用することで、{±1}値をとる i.i.d. 要因過程を生成し、二値設定における相互情報量の解析を可能にする。
• コンベキシティと和の推定を用いて、距離 k におけるラベルの共分散と相関を下から評価し、k^{1−2ε}(d−1)^{−k} のオーダーで減衰することを示す。
• 対称二値確率変数において相互情報量が相関の二乗に漸近的に比例することを関係づけ、ガウス過程における相関の減衰から、二値バージョンにおける相互情報量の減衰を示す。これにより、相互情報量が Ω(k^{2−4ε}(d−1)^{−k}) のオーダーで減衰することを証明し、(d−1)^{−k} 減衰速度の鋭さを確認する。

実験結果

リサーチクエスチョン

• RQ1 d-正則木上の i.i.d. 要因過程における距離 k の頂点ラベル間の正規化された相互情報量の最適上界は何か？
• RQ2 距離 k における相互情報量の既知の (d−1)^{−k/2} 上界は、すべての過程に対してタイトか、それとも特定の過程ではより速い減衰が生じるか？
• RQ3 1つの i.i.d. 要因過程が、すべての距離 k に対して相互情報量が (d−1)^{−k} の速度で減衰することができるか？
• RQ4 普遍的上界と実際の過程における相互情報量の減衰速度にはどのような違いがあり、その乖離はどのように説明できるか？
• RQ5 ガウス要因における相関の減衰と、その符号変換による二値バージョンにおける相互情報量の減衰の関係は何か？

主な発見

• 距離 k における正規化された相互情報量の普遍的上界は O((d−1)^{−k/2}) であり、これは任意の固定 k に対してこの上界を達成する過程が存在するという意味で鋭い。
• 任意の固定された i.i.d. 要因過程に対して、相互情報量は (d−1)^{−k/2} よりもはるかに速く減衰し、大きな k に対しては実際の減衰速度が (d−1)^{−k} のオーダーである。
• 本稿では、任意の ε > 0 に対して距離 k における相互情報量が Ω(k^{2−4ε}(d−1)^{−k}) であるような {±1} 値をとる i.i.d. 要因過程を構成し、(d−1)^{−k} 減衰速度が本質的に鋭いことを証明する。
• 対称二値確率変数において、相互情報量は漸近的に相関の二乗に比例するため、ガウス要因における相関の減衰を用いて、二値バージョンにおける相互情報量の減衰を推論できる。
• (d−1)^{−k/2} の普遍的上界と (d−1)^{−k} の典型的な減衰速度との乖離は本質的かつ非自明である。1つの過程がすべての k に対して最悪ケースの上界を達成することはない。
• 結果は、相互情報量の減衰速度が過程によって一様ではなく、典型的な過程は最悪ケースの上界が示唆するよりも著しく速い減衰を示すことを示している。