[论文解读] Collaborative Distributed Hypothesis Testing

Gil Katz, Pablo Piantanida+1 more|arXiv (Cornell University)|Apr 5, 2016

Wireless Communication Security Techniques参考文献 24被引用 25

一句话总结

本文研究协作式分布式二元假设检验，其中两名统计学家各自观察到依赖但分离的过程，通过有限的多轮交互联合决定两个联合分布。该文利用信息论方法为一般假设建立了可行的错误指数，并证明在零速率通信下交互无法提升性能，通过不可行性结果证明了在独立性检验中的最优性。

ABSTRACT

A collaborative distributed binary decision problem is considered. Two statisticians are required to declare the correct probability measure of two jointly distributed memoryless process, denoted by $X^n=(X_1,\dots,X_n)$ and $Y^n=(Y_1,\dots,Y_n)$, out of two possible probability measures on finite alphabets, namely $P_{XY}$ and $P_{\bar{X}\bar{Y}}$. The marginal samples given by $X^n$ and $Y^n$ are assumed to be available at different locations. The statisticians are allowed to exchange limited amount of data over multiple rounds of interactions, which differs from previous work that deals mainly with unidirectional communication. A single round of interaction is considered before the result is generalized to any finite number of communication rounds. A feasibility result is shown, guaranteeing the feasibility of an error exponent for general hypotheses, through information-theoretic methods. The special case of testing against independence is revisited as being an instance of this result for which also an unfeasibility result is proven. A second special case is studied where zero-rate communication is imposed (data exchanges grow sub-exponentially with $n$) for which it is shown that interaction does not improve asymptotic performance.

研究动机与目标

• 解决观测数据在两个位置分离且通信受限的协作式分布式二元假设检验问题。
• 分析多轮交互对分布式决策中错误指数性能的影响。
• 在通信受限条件下，为一般假设建立错误指数的可行性。
• 研究当通信受限于零速率（次指数增长）时，交互是否能提升渐近性能。
• 通过不可行性结果证明在测试独立性这一特殊情况下错误指数的最优性。

提出的方法

• 使用信息论方法，特别是类型法，分析分布式假设检验中的错误指数。
• 将系统建模为两名统计学家分别观测到联合分布的无记忆过程 $X^n$ 和 $Y^n$，其假设为 $P_{XY}$ 和 $P_{\bar{X}\bar{Y}}$。
• 先分析单轮交互模型，再推广至任意有限轮通信。
• 应用Neyman-Pearson引理和Shannon编码定理，推导出第一类和第二类错误概率的界。
• 采用典型集论证和通过 $\Gamma^k$-邻域得到的度量熵界，将经验分布与真实测度关联。
• 使用Kullback-Leibler散度 $\mathcal{D}(P_{\tilde{X}\tilde{Y}} \| P_{\bar{X}\bar{Y}})$ 作为刻画错误指数的关键量。

实验结果

研究问题

• RQ1 在具有多轮交互的协作式分布式设置中，能否为一般二元假设检验实现可行的错误指数？
• RQ2 在数据交换受限的分布式假设检验中，交互是否能带来优于单向通信的性能增益？
• RQ3 当通信受限于零速率（次指数增长）时，其渐近性能极限是什么？
• RQ4 在所提出的协作框架下，针对独立性检验的错误指数是否最优？
• RQ5 能否使用类型法和典型集等信息论工具对错误指数进行刻画？

主要发现

• 通过信息论技术建立了针对一般假设的可行错误指数，表明最优错误指数受Kullback-Leibler散度 $\mathcal{D}(P_{\tilde{X}\bar{Y}} \| P_{\bar{X}\bar{Y}})$ 限制。
• 对于测试独立性的特殊情况，通过不可行性结果证明了所推导错误指数的最优性。
• 在零速率通信下（数据交换随 $n$ 次指数增长），交互无法提升渐近错误指数。
• 错误指数被证明与第一类错误约束 $\epsilon$ 无关（$0 < \epsilon < 1$），与集中式设置下的Stein引理一致。
• 分析表明，错误指数由经验类型 $P_{\tilde{X}\tilde{Y}}$ 与备择测度 $P_{\bar{X}\bar{Y}}$ 之间的差异决定，且收敛速率由 $\mu_n \to 0$ 随 $n \to \infty$ 控制。
• 该结果推广了先前关于单向通信的工作，将其扩展至具有可证明性能保证的双向、多轮交互。