[论文解读] Graphs of Joint Types, Noninteractive Simulation, and Stronger Hypercontractivity

Lei Yu, Venkat Anantharam+1 more|arXiv (Cornell University)|Feb 1, 2021

Markov Chains and Monte Carlo Methods参考文献 28被引用 6

一句话总结

本文提出了一种新颖的框架，用于分析信息论中由联合类型诱导的类型图——双分图——借助等周与超收缩技术。该研究建立了这些图的最大边密度及双 clique 速率区域的渐近紧致界，其应用涵盖非交互式随机变量模拟，以及对二元加法通道零错误容量区域的改进外边界。

ABSTRACT

In this paper, we study the type graph, namely, a bipartite graph induced by a joint type. We investigate the maximum edge density of induced bipartite subgraphs of this graph having a number of vertices on each side on an exponential scale in the length $n$ of the type. This can be seen as an isoperimetric problem. We provide asymptotically sharp bounds for the exponent of the maximum edge density as the length of the type goes to infinity. We also study the biclique rate region of the type graph, which is defined as the set of $(R_{1},R_{2})$ such that there exists a biclique of the type graph which has respectively $2^{nR_{1}}$ and $2^{nR_{2}}$ vertices on the two sides. We provide asymptotically sharp bounds for the biclique rate region as well. We then discuss the connections of these results to noninteractive simulation and hypercontractivity inequalities. Furthermore, as an application of our results, a new outer bound for the zero-error capacity region of the binary adder channel is provided, which improves the previously best known bound, due to Austrin, Kaski, Koivisto, and Nederlof. Our proofs in this paper are based on the method of types and linear algebra.

研究动机与目标

• 将类型图中诱导双分图的最大边密度分析视为一个等周问题。
• 刻画类型图的双 clique 速率区域，即存在大小为 2ⁿᴿ¹ × 2ⁿᴿ² 的双 clique 的速率 (R₁, R₂) 的集合。
• 将这些图论结果与非交互式随机变量模拟及更强的超收缩不等式联系起来。
• 推导出二元加法通道零错误容量区域的新外边界，优于先前结果。
• 统一方法论类型与线性代数方法，以分析类型图的极值性质。

提出的方法

• 使用类型法建模长度为 n 的序列，其经验分布给定，定义类型类与联合类型类。
• 构建一个双分类型图 G_TXY，其顶点位于 X 与 Y 的类型类上，边对应于联合类型序列。
• 应用等周推理，对每侧顶点集指数级大小的诱导子图的最大边密度进行界定。
• 采用线性代数与对偶技术，分析定义在类型类上的函数的 Lp 与 Lq 范数。
• 引入对偶函数并利用阶梯函数逼近来界定内积与范数，利用逼近误差的指数衰减特性。
• 通过变分原理与 Legendre-Fenchel 变换推导渐近界，特别是通过函数 Λ*ₚ,ₚ 与 Θ*。

实验结果

研究问题

• RQ1 在每侧顶点集均为指数规模的类型图诱导子图中，最大边密度的渐近指数为何？
• RQ2 类型图的精确双 clique 速率区域为何？即满足存在大小为 2ⁿᴿ¹ × 2ⁿᴿ² 的双 clique 的 (R₁, R₂) 的集合？
• RQ3 类型图的极值性质如何与随机变量的非交互式模拟相关？
• RQ4 能否从类型图的结构中导出更强的超收缩不等式？
• RQ5 这些图论结果能否用于获得二元加法通道零错误容量区域的改进外边界？

主要发现

• 诱导子图中最大边密度的渐近指数由涉及互信息与条件类型的变分表达式刻画。
• 双 clique 速率区域被证明是渐近紧致的，其边界由涉及联合类型及其条件分布的对偶优化问题决定。
• 本文建立了二元加法通道零错误容量区域的新外边界，严格优于 Austrin 等人的结果。
• 推导出一个强超收缩不等式，最优常数与类型图的谱间隙及联合类型的条件结构相关。
• 该方法对类型类上函数的比值 ⟨f,g⟩ / (‖f‖ₚ‖g‖ₚ) 给出紧致界，其指数收敛于联合类型率函数的 Legendre-Fenchel 变换。
• 分析表明，类型图上范数与内积的渐近行为由加权熵与散度项之和的最大值决定，逼近参数 a 与 b 控制指数误差。