[论文解读] Distributed Source Coding for Interactive Function Computation

Nan Ma, Prakash Ishwar|ArXiv.org|Jan 4, 2008

Cellular Automata and Applications参考文献 9被引用 12

一句话总结

该论文为双终端函数计算中交替消息的交互式分布式源编码的速率区域提供了可计算的表征。研究表明，交互可显著降低总通信开销——尤其在双终端计算函数时效果显著，通过二维积分和速率分配曲线，给出了两个独立伯努利源的布尔与函数的无限消息和速率表达式。

ABSTRACT

A two-terminal interactive distributed source coding problem with alternating messages for function computation at both locations is studied. For any number of messages, a computable characterization of the rate region is provided in terms of single-letter information measures. While interaction is useless in terms of the minimum sum-rate for lossless source reproduction at one or both locations, the gains can be arbitrarily large for function computation even when the sources are independent. For a class of sources and functions, interaction is shown to be useless, even with infinite messages, when a function has to be computed at only one location, but is shown to be useful, if functions have to be computed at both locations. For computing the Boolean AND function of two independent Bernoulli sources at both locations, an achievable infinite-message sum-rate with infinitesimal-rate messages is derived in terms of a two-dimensional definite integral and a rate-allocation curve. A general framework for multiterminal interactive function computation based on an information exchange protocol which successively switches among different distributed source coding configurations is developed. For networks with a star topology, multiple rounds of interactive coding is shown to decrease the scaling law of the total network rate by an order of magnitude as the network grows.

研究动机与目标

• 表征双终端交互式分布式源编码在交替消息及双节点函数计算下的可实现速率区域。
• 研究交互在降低函数计算通信开销方面的作用，尤其与非交互方案进行对比。
• 分析交互在何种情况下对函数计算有益或无用，取决于函数结构和源分布。
• 通过二维定积分推导两个独立伯努利源的布尔与函数的无限消息和速率表达式。
• 基于分布式源编码配置间的动态切换，构建通用的多终端交互式函数计算框架。

提出的方法

• 提出一种通用的双终端交互编码模型，支持 t 轮交替消息，其中每条消息的速率依赖于先前消息和源样本。
• 利用单字母信息度量，推导出任意消息数下速率区域的可计算表征。
• 应用信息论不等式和马尔可夫链约束以界定和速率，特别利用条件熵和互信息项。
• 引入辅助随机变量和标签函数 φ(U^t)，根据函数输出对输入空间区域进行分类，实现熵的分解。
• 通过在参数 λ 上最小化，推导出无限消息和速率的下界，得到包含二元熵函数的闭式表达式。
• 基于信息交换协议，构建多终端框架，通过在 Slepian-Wolf 和 Wyner-Ziv 编码配置间动态切换，实现最优速率分配。

实验结果

研究问题

• RQ1 在何种情况下交互对分布式函数计算有益，又在何种情况下即使使用无限消息也无用？
• RQ2 函数结构（如布尔与）和源分布如何共同影响交互带来的速率节省？
• RQ3 使用无限轮交互计算两个独立伯努利(p)和伯努利(q)源的布尔与函数时，最小可实现和速率是多少？
• RQ4 交互能否降低多终端网络中总网络速率的量级关系，若能，降低多少？
• RQ5 辅助随机变量和消息标签在表征交互式函数计算速率区域中起什么作用？

主要发现

• 在星型拓扑网络中，随着网络规模增大，交互可使总通信开销降低一个数量级，显著改善速率的量级关系。
• 对于在双终端计算两个独立伯努利(p)和伯努利(q)源的布尔与函数，无限消息和速率的下界为 $ h_2(p) + h_2(q) - (1 - pq) h_2\big(\frac{(1-p)(1-q)}{1 - pq}\big) $，且在极限下可达到等号。
• 当函数对称且源独立时，即使使用无限消息，交互对单终端函数计算也无用；但当函数在双终端计算时，交互变得至关重要。
• 通过单字母信息度量表征了 t 条消息交互的速率区域，为可实现速率提供了可计算且紧致的边界。
• 利用辅助变量和标签函数 φ(U^t) 可实现联合熵的分解，从而将问题转化为对单一参数 λ 的可处理最小化问题。
• 通过在不同分布式源编码配置间依次切换，该框架可推广至多终端网络，实现在多个节点间的高效速率分配。