[论文解读] Information Recovery from Pairwise Measurements

Yuxin Chen, Changho Suh+1 more|arXiv (Cornell University)|Apr 6, 2015

Machine Learning and Algorithms参考文献 12被引用 5

一句话总结

该论文提出了一套统一的信息论框架，用于从噪声配对差分测量中恢复 $ n $ 个节点变量，将问题建模为测量图上的信道译码问题。核心贡献是基于最小信道散度与图的最小割的恢复准则，建立了阶次紧致的样本复杂度边界，其规模为 $ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $，适用于非超多项式字母表大小的同质图。

ABSTRACT

This paper is concerned with jointly recovering $n$ node-variables $\left\{ x_{i} ight\}_{1\leq i\leq n}$ from a collection of pairwise difference measurements. Imagine we acquire a few observations taking the form of $x_{i}-x_{j}$; the observation pattern is represented by a measurement graph $\mathcal{G}$ with an edge set $\mathcal{E}$ such that $x_{i}-x_{j}$ is observed if and only if $(i,j)\in\mathcal{E}$. To account for noisy measurements in a general manner, we model the data acquisition process by a set of channels with given input/output transition measures. Employing information-theoretic tools applied to channel decoding problems, we develop a \emph{unified} framework to characterize the fundamental recovery criterion, which accommodates general graph structures, alphabet sizes, and channel transition measures. In particular, our results isolate a family of \emph{minimum} \emph{channel divergence measures} to characterize the degree of measurement corruption, which together with the size of the minimum cut of $\mathcal{G}$ dictates the feasibility of exact information recovery. For various homogeneous graphs, the recovery condition depends almost only on the edge sparsity of the measurement graph irrespective of other graphical metrics; alternatively, the minimum sample complexity required for these graphs scales like \[ ext{minimum sample complexity }\asymp\frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} \] for certain information metric $\mathsf{Hel}_{1/2}^{\min}$ defined in the main text, as long as the alphabet size is not super-polynomial in $n$. We apply our general theory to three concrete applications, including the stochastic block model, the outlier model, and the haplotype assembly problem. Our theory leads to order-wise tight recovery conditions for all these scenarios.

研究动机与目标

• 建立从噪声配对差分 $ x_i - x_j $ 中重构 $ n $ 个节点变量的根本性恢复准则，其中仅观测到部分配对。
• 将测量过程建模为以 $ x_i - x_j $ 为输入、$ y_{ij} $ 为输出的信道，使用一般转移概率以捕捉噪声。
• 通过信道散度与图结构（特别是测量图的最小割）表征精确恢复的可行性。
• 推导各类图型（尤其是同质图）在一般噪声模型下的紧致样本复杂度边界。
• 将理论应用于社区检测、异常值模型和单倍型组装等具体问题，实现阶次最优的恢复条件。

提出的方法

• 将恢复问题形式化为信道译码任务，其中输入为配对差分 $ x_i - x_j $，输出为噪声观测 $ y_{ij} $，转移概率为 $ p(y_{ij} \mid x_i - x_j) $。
• 定义一组最小信道散度假设，用于量化测量污染程度，作为恢复可行性的一个关键度量。
• 引入测量图 $ \mathcal{G} $ 的最小割作为结构约束，其与最小信道散度的乘积决定恢复可行性。
• 使用信息论工具，包括 $ f $-散度（KL 散度与赫林格散度），以界定信道输入与输出分布之间的散度。
• 基于割集大小与最小割建立节点集合可行划分数的组合界，从而导出可能配置数的指数上界。
• 通过所有可能配置上的并集界推导样本复杂度边界，表明对于同质图，所需测量数的规模为 $ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $。

实验结果

研究问题

• RQ1 精确恢复 $ n $ 个节点变量所需的最少配对测量数的根本极限是什么？
• RQ2 测量图的结构（如最小割）与噪声水平（通过信道散度表示）如何共同决定恢复的可行性？
• RQ3 在同质图中，精确恢复的最小样本复杂度是多少？其如何随 $ n $ 与噪声水平变化？
• RQ4 所提出的框架能否在社区检测与单倍型组装等实际应用中实现阶次最优的恢复条件？
• RQ5 不同 $ f $-散度（如 KL 散度与赫林格散度）在界定恢复阈值时有何关系？能否建立统一关系？

主要发现

• 当且仅当最小信道散度有下界且测量图具有足够大的最小割时，精确恢复才可行，且两者的乘积决定可行性。
• 对于同质图，所需样本复杂度的规模为 $ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $，其中 $ \mathsf{Hel}_{1/2}^{\min} $ 是归一化的赫林格散度假设，与其他图度量无关。
• 该理论在三个具体应用中实现了阶次紧致的恢复条件：随机块模型、异常值模型与单倍型组装问题。
• 论文建立了 KL 散度与赫林格散度之间的统一界，表明 $ \mathsf{KL}(P\|Q) \asymp \mathsf{Hel}_{1/2}(P\|Q) $，在密度比的对数因子范围内成立。
• 通过最小割与割集大小约束，推导出可行划分数的组合界，从而得出必须考虑的配置数的指数上界。
• 分析表明，对于非超多项式字母表大小，恢复阈值几乎完全取决于边的稀疏性与信道散度，而与其他图属性无关。