[论文解读] Generalized Common Informations: Measuring Commonness by the Conditional Maximal Correlation

Lei Yu, Houqiang Li+1 more|arXiv (Cornell University)|Oct 28, 2016

Wireless Communication Security Techniques参考文献 17被引用 14

一句话总结

本文引入广义的公共信息度量——近似与精确的信息相关函数，采用条件最大相关性作为依赖度量。它将 Gács-Körner、Wyner 和 Kumar-Li-Gamal 的公共信息视为特例，并通过私有源合成与公共信息提取的机制建立了操作表征，表明这些函数恰好等于在集中式设置下满足条件最大相关性约束所需的最小公共性速率。

ABSTRACT

In literature, different common informations were defined by Gács and Körner, by Wyner, and by Kumar, Li, and Gamal, respectively. In this paper, we define two generalized versions of common informations, named approximate and exact information-correlation functions, by exploiting the conditional maximal correlation as a commonness or privacy measure. These two generalized common informations encompass the notions of Gács-Körner's, Wyner's, and Kumar-Li-Gamal's common informations as special cases. Furthermore, to give operational characterizations of these two generalized common informations, we also study the problems of private sources synthesis and common information extraction, and show that the information-correlation functions are equal to the minimum rates of commonness needed to ensure that some conditional maximal correlation constraints are satisfied for the centralized setting versions of these problems. As a byproduct, the conditional maximal correlation has been studied as well.

研究动机与目标

• 将现有的公共信息定义——Gács-Körner、Wyner 和 Kumar-Li-Gamal——统一到一个广义框架中。
• 定义两种新的广义公共信息度量：近似与精确的信息相关函数，以条件最大相关性作为公共性或隐私度量。
• 通过私有源合成与公共信息提取问题，为这些广义度量提供操作解释。
• 建立信息相关函数与集中式设置下满足条件最大相关性约束所需最小公共性速率之间的精确对应关系。

提出的方法

• 将近似信息相关函数定义为在满足 $ \rho_m(X^n;Y^n|UV) \leq \beta $ 的条件下，对所有 $ P_{U|X^n}P_{V|Y^n} $ 分布，互信息 $ I(X^nY^n; UV) $ 的下确界。
• 将精确信息相关函数定义为当 $ \beta \to 1^- $ 时近似版本的极限，以捕捉在最大相关性约束下的精确公共性。
• 利用条件最大相关性作为给定公共随机性下源之间残余依赖性的度量，从而实现对公共性与隐私性的统一处理。
• 通过随机编码论证与基于典型性的构造，为分布式公共信息提取（DCIE）问题建立可实现性与相对界。
• 利用数据处理不等式与最大相关性性质，对各种马尔可夫链与时间共享方案下的条件最大相关性进行有界处理。
• 通过时间共享随机变量 $ T $ 应用大数定律与对称性论证，将多字母表达式简化为单字母形式，从而实现紧密表征。

实验结果

研究问题

• RQ1 如何将 Gács-Körner、Wyner 和 Kumar-Li-Gamal 的公共信息统一到一个广义框架下？
• RQ2 广义公共信息度量在分布式源合成与公共信息提取中的操作意义是什么？
• RQ3 条件最大相关性能否作为稳健、内在的依赖度量，用于定义广义公共信息？
• RQ4 为确保源之间条件最大相关性被限制在给定阈值 $ \beta $ 以下，所需的最小公共随机性速率是多少？
• RQ5 近似与精确信息相关函数与私有源合成及公共信息提取问题中的可实现速率之间有何关系？

主要发现

• 近似信息相关函数 $ C_\beta^{(D)}(X;Y) $ 被操作性地表征为：在分布式公共信息提取问题中，为确保源之间条件最大相关性被限制在 $ \beta $ 以下，所需最小公共随机性速率。
• 精确信息相关函数 $ C_{\beta}^{(D,LB)}(X;Y) $ 被证明等于满足 $ \rho_m(X^n;Y^n|UV) \leq \beta $ 的所有分布下互信息的下确界，且该值在 $ \beta \to 1^- $ 的极限下可实现。
• 信息相关函数推广了现有公共信息度量：当 $ \beta = 0 $ 时，函数退化为 Gács-Körner 公共信息；当 $ \beta \to 1^- $ 时，趋近于 Kumar-Li-Gamal 的精确公共信息。
• 本文证明了 $ R_{DCIE}(\beta) = C_\beta^{(D)}(X;Y) $，建立了最小公共随机性速率与条件最大相关性约束之间的紧密操作等价性。
• 条件最大相关性被证明在双射变换下不变，且可作为内在依赖性的自然度量，从而实现对公共性与隐私性的统一处理。
• 通过时间共享与对称性论证，本文推导出单字母下界 $ C_\beta^{(D)}(X;Y) \geq C_\beta^{(D,LB)}(X;Y) $，完成相对证明并确认了表征的紧致性。