[論文レビュー] On Maximal Correlation, Hypercontractivity, and the Data Processing Inequality studied by Erkip and Cover

Venkat Anantharam, Gohari, Amin+2 more|arXiv (Cornell University)|Apr 22, 2013

Point processes and geometric inequalities参考文献 15被引用数 103

ひとこと要約

本稿は、関数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ のヘッセ行列と凸包を用いて、Hirschfeld-Gebelein-Rényi の最大相関と、無限大におけるハイパーコントラクトニティリボンの弦の傾きの新しい幾何的特徴付けを提示する。ErkipとCoverが提示した誤ったデータ処理不等式を是正し、タイトな定数が $ \rho_m^2(X;Y) $ ではなく $ s^*(X;Y) $ であることを証明した。さらに、凸性解析を用いて $ s^*(X;Y) $ がテンソル化することを確立した。

ABSTRACT

In this paper we provide a new geometric characterization of the Hirschfeld-Gebelein-Rényi maximal correlation of a pair of random $(X,Y)$, as well as of the chordal slope of the nontrivial boundary of the hypercontractivity ribbon of $(X,Y)$ at infinity. The new characterizations lead to simple proofs for some of the known facts about these quantities. We also provide a counterexample to a data processing inequality claimed by Erkip and Cover, and find the correct tight constant for this kind of inequality.

研究の動機と目的

• 無限大におけるハイパーコントラクトニティリボンの弦の傾き $ s^*(X;Y) $ および最大相関 $ \rho_m(X;Y) $ の新しい幾何的特徴付けを提供すること。
• ErkipとCoverが誤って提示したデータ処理不等式を是正すること。この不等式では、タイトな定数として $ \rho_m^2(X;Y) $ が誤って用いられていた。
• マークフ・チェーン $ U-X-Y $ に対して不等式 $ I(U;Y) \leq \lambda I(U;X) $ におけるタイトな定数が $ \rho_m^2(X;Y) $ ではなく $ s^*(X;Y) $ であることを確立すること。
• 関数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ の凸性および下位凸包解析を用いて、$ s^*(X;Y) $ がテンソル化することを証明すること。

提案手法

• $ \rho_m^2(X;Y) $ を、$ t_\lambda(X) = H(Y) - \lambda H(X) $ のヘッセ行列が $ p(x) $ で半正定値になるような最小の $ \lambda $ として特徴付ける。
• $ s^*(X;Y) $ を、$ t_\lambda(X) $ が $ p(x) $ でその下位凸包 $ K[t_\lambda](X) $ と一致するような最小の $ \lambda $ として特徴付ける。
• 関数 $ t\_\lambda(X) $ を用いてエントロピー差の凸性を分析し、最大相関およびハイパーコントラクトニティのための幾何的条件を導出する。
• 特定のチャネルと入力分布に対して $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $ が成り立つことを示すことで、Erkip-Coverの不等式の反例を構成する。
• もし $ t_\lambda(X_1) $ と $ t_\lambda(X_2) $ がそれぞれ $ p_1(x_1) $ および $ p_2(x_2) $ でその凸包と一致するならば、$ t_\lambda(X_1,X_2) $ が $ p_1(x_1)p_2(x_2) $ でその凸包と一致することを示すことにより、$ s^*(X;Y) $ のテンソル化を証明する。
• 鎖則およびマークフ・チェーンの性質を用いて、条件付きエントロピーおよび相対エントロピー比に関する不等式を導出し、$ s^*(X;Y) $ のタイトさを示す。

実験結果

リサーチクエスチョン

• RQ1 マークフ・チェーン $ U-X-Y $ に対して、データ処理不等式 $ I(U;Y) \leq \lambda I(U;X) $ の正しいタイト定数は何か？
• RQ2 関数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ のヘッセ行列を用いた幾何的特徴付けにより、最大相関 $ \rho_m(X;Y) $ はどのように特徴付けられるか？
• RQ3 無限大におけるハイパーコントラクトニティリボンの弦の傾き $ s^*(X;Y) $ は、関数 $ t_\lambda(X) $ の凸包とどのように関係するか？
• RQ4 なぜ Erkip-Cover の不等式 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ は失敗するのか？正しい定数は何か？
• RQ5 $ s^*(X;Y) $ はテンソル化するのか？もしそうならば、凸性およびエントロピー分解を用いてどのように証明できるか？

主な発見

• 最大相関 $ \rho_m^2(X;Y) $ は、関数 $ t_\lambda(X) = H(Y) - \lambda H(X) $ のヘッセ行列が $ p(x) $ で半正定値になるような最小の $ \lambda $ に一致する。
• 弦の傾き $ s^*(X;Y) $ は、関数 $ t_\lambda(X) $ が $ p(x) $ でその下位凸包 $ K[t_\lambda](X) $ と一致するような最小の $ \lambda $ に一致する。
• ErkipとCoverが提示したデータ処理不等式 $ I(U;Y) \leq \rho_m^2(X;Y) I(U;X) $ は誤りである。特定のチャネルと入力分布に対して $ I(U;Y) > \rho_m^2(X;Y) I(U;X) $ が成り立つ反例が構成された。
• データ処理不等式における正しいタイトな定数は $ s^*(X;Y) $ であり、不等式 $ I(U;Y) \leq s^*(X;Y) I(U;X) $ はすべての $ U-X-Y $ マークフ・チェーンに対して成り立つ。
• $ s^*(X;Y) $ はテンソル化する：独立なペア $ (X_1,Y_1), (X_2,Y_2) $ に対して、$ s^*(X_1X_2;Y_1Y_2) = \max\{s^*(X_1;Y_1), s^*(X_2;Y_2)\} $ が成り立つ。
• $ s^*(X;Y) $ が、$ t_\lambda(X) $ がその凸包と一致するような最小の $ \lambda $ として特徴付けられることにより、$ \rho_m^2(X;Y) $ が正しい定数でない理由が説明される。これは局所的凸性を表すのに対し、$ s^*(X;Y) $ はグローバルな凸性を表すからである。