[論文レビュー] On Exact and $\infty$-Rényi Common Informations

Lei Yu, Vincent Y. F. Tan|arXiv (Cornell University)|Sep 30, 2018

Wireless Communication Security Techniques参考文献 44被引用数 3

ひとこと要約

本稿は、すべての連携分布に対して正確な共通情報と∞-Rényi共通情報が等価であることを確立し、それらが等しいことを証明している。二重対称バイナリ源に対しては、単一記号の特徴付けを提供し、両者がワイナーの共通情報よりも厳密に大きいことを示しており、 Kumar、Li、El Gamalが提起した未解決問題を解決している。

ABSTRACT

Recently, two extensions of Wyner's common information extemdash exact and Rényi common informations extemdash were introduced respectively by Kumar, Li, and El Gamal (KLE), and the present authors. The class of common information problems involves determining the minimum rate of the common input to two independent processors needed to exactly or approximately generate a target joint distribution. For the exact common information problem, exact generation of the target distribution is required, while for Wyner's and $α$-Rényi common informations, the relative entropy and Rényi divergence with order $α$ were respectively used to quantify the discrepancy between the synthesized and target distributions. The exact common information is larger than or equal to Wyner's common information. However, it was hitherto unknown whether the former is strictly larger than the latter for some joint distributions. In this paper, we first establish the equivalence between the exact and $\infty$-Rényi common informations, and then provide single-letter upper and lower bounds for these two quantities. For doubly symmetric binary sources, we show that the upper and lower bounds coincide, which implies that for such sources, the exact and $\infty$-Rényi common informations are completely characterized. Interestingly, we observe that for such sources, these two common informations are strictly larger than Wyner's. This answers an open problem posed by KLE. Furthermore, we extend Wyner's, $\infty$-Rényi, and exact common informations to sources with countably infinite or continuous alphabets, including Gaussian sources.

研究の動機と目的

• 任意の連携分布に対して、正確な共通情報がワイナーの共通情報よりも厳密に大きいかどうかという未解決問題を解消すること。
• 一般の源に対して、正確な共通情報および∞-Rényi共通情報の単一記号特徴付けを確立すること。
• 共通情報の定義を、可算無限または連続的なアルファベットを持つ源、特にガウス源を含むものに拡張すること。
• 二重対称バイナリ源に対して、正確な共通情報および∞-Rényi共通情報が完全に特徴付けられ、かつワイナーの共通情報よりも厳密に大きいことを示すこと。

提案手法

• ∞-Rényi共通情報を、Rényi発散度の順序∞を用いて乖離を測定する際の最小共通レートとして定義する。
• 任意の積分布に対するRényi発散度の順序∞の最小値として、∞-Rényi共通情報の単一記号表現を導出する。
• 同じ最適化問題によって特徴付けられることを示すことにより、正確な共通情報が∞-Rényi共通情報に等しいことを証明する。
• 目的分布π_XYを積分布の混合に分解することで、境界に達する有効なカップリングを構築する。
• Rényi発散度の順序∞の最小-最大性質を適用し、タイトな上界および下界を導出する。
• i.i.d.拡張における∞-Rényi共通情報の加法性を確立し、漸近的特徴付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の連携分布に対して、正確な共通情報がワイナーの共通情報よりも厳密に大きいだろうか？
• RQ2 特定の源、例えば二重対称バイナリ源に対して、正確な共通情報は閉形式で特徴付けられるだろうか？
• RQ3 正確な共通情報と∞-Rényi共通情報の間に等価性が存在するだろうか？
• RQ4 可算無限または連続的アルファベットを持つ源に対して、これらの共通情報測度はどのように振る舞うだろうか？
• RQ5 ∞-Rényi共通情報の単一記号特徴付けを用いて、正確な共通情報のタイトな境界を導出できるだろうか？

主な発見

• すべての連携分布に対して、正確な共通情報は∞-Rényi共通情報に正確に等しい。
• 二重対称バイナリ源に対しては、正確な共通情報および∞-Rényi共通情報が単一記号の公式によって完全に特徴付けられる。
• 二重対称バイナリ源に対しては、正確な共通情報および∞-Rényi共通情報の両方が、ワイナーの共通情報よりも厳密に大きい。
• ∞-Rényi共通情報は、任意の積分布と目的分布π_XYとの間のRényi発散度の順序∞の最小値として与えられる。
• 正確な共通情報は、i.i.d.拡張の共通エントロピーの極限として特徴付けられ、∞-Rényi共通情報に等しい。
• 発散度測度の適切な一般化を用いることで、可算無限または連続的アルファベットを持つ源、特にガウス源に対しても結果が拡張可能である。