[论文解读] Active Learning Algorithms for Graphical Model Selection

Gautam Dasarathy, Aarti Singh+2 more|arXiv (Cornell University)|Feb 1, 2016

Machine Learning and Algorithms参考文献 40被引用 8

一句话总结

该论文提出了一种用于图模型选择的新型主动学习框架，通过自适应地采样高阶顶点并最小化对低阶顶点的数据收集，从而降低样本复杂度。通过引入局部复杂度度量 $\bar{d}_{\text{max}}$（最大邻域度的平均值），作者证明其算法——AdPaCT 和 AMPL——实现了 $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$ 的样本复杂度，显著优于依赖于 $d_{\text{max}}$ 的被动方法。这在具有非均匀度分布的高维设置下带来了可证明的性能提升。

ABSTRACT

The problem of learning the structure of a high dimensional graphical model from data has received considerable attention in recent years. In many applications such as sensor networks and proteomics it is often expensive to obtain samples from all the variables involved simultaneously. For instance, this might involve the synchronization of a large number of sensors or the tagging of a large number of proteins. To address this important issue, we initiate the study of a novel graphical model selection problem, where the goal is to optimize the total number of scalar samples obtained by allowing the collection of samples from only subsets of the variables. We propose a general paradigm for graphical model selection where feedback is used to guide the sampling to high degree vertices, while obtaining only few samples from the ones with the low degrees. We instantiate this framework with two specific active learning algorithms, one of which makes mild assumptions but is computationally expensive, while the other is more computationally efficient but requires stronger (nevertheless standard) assumptions. Whereas the sample complexity of passive algorithms is typically a function of the maximum degree of the graph, we show that the sample complexity of our algorithms is provable smaller and that it depends on a novel local complexity measure that is akin to the average degree of the graph. We finally demonstrate the efficacy of our framework via simulations.

研究动机与目标

• 为解决在高维图模型中收集完整联合样本的高成本问题，特别是在传感器网络和蛋白质组学等应用中。
• 通过实现对变量子集的选择性、自适应采样，而非完整联合观测，来降低总样本复杂度。
• 开发一种通用的主动学习框架，指导采样优先选择高阶顶点，同时最小化对低阶顶点的数据收集。
• 证明样本复杂度依赖于一种新型局部度量 $\bar{d}_{\text{max}}$，而非全局最大度 $d_{\text{max}}$。
• 在主动边际化下，提供计算高效且可证明准确的结构学习算法。

提出的方法

• 提出一种元算法（算法1），基于先前采样结果，利用反馈指导选择采样哪些变量子集。
• 提出两种具体实现：AdPaCT（基于自适应部分相关性检验的穷举搜索）和 AMPL（基于Lasso的高效邻域选择）。
• 采用两个核心子程序：nbdSelect（候选邻域选择）和 nbdVerify（邻域验证），分别满足条件 (C1) 和 (C2)。
• 在 AMPL 中使用 $\ell_1$-正则化回归（Lasso）在稀疏性假设下实现高效的邻域估计。
• 将 $\bar{d}_{\text{max}}$ 定义为所有顶点邻域中最大度的平均值，作为替代 $d_{\text{max}}$ 的局部复杂度度量，并用于样本复杂度边界的分析。
• 采用基于反馈的采样策略，优先对估计度数较高的顶点进行进一步采样。

实验结果

研究问题

• RQ1 与被动方法相比，主动采样策略是否能显著减少准确恢复图模型结构所需的标量样本总数？
• RQ2 主动学习的样本复杂度是否依赖于局部图属性 $\bar{d}_{\text{max}}$，而非全局最大度 $d_{\text{max}}$？
• RQ3 在标准假设下，计算高效的算法能否实现与穷举搜索方法相当的样本复杂度？
• RQ4 在度分布非均匀的图中，主动学习算法与被动邻域回归方法（如 Meinshausen-Bühlmann）相比表现如何？
• RQ5 该主动学习框架能否扩展至高斯图模型之外的其他 exponential family 模型（如 Ising 模型）？

主要发现

• AdPaCT 和 AMPL 的样本复杂度为 $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$，其复杂度被严格证明小于被动方法的 $\mathcal{O}(d_{\text{max}}p\log p)$。
• 在单 clique 图中，AMPL 仅需 1202.1 个有效样本（ESC(0.9)），而 MB 需要 3361.8，样本使用量减少了 64%。
• 在多 clique 图中，AMPL 的 ESC(0.9) 为 1154.3，而 MB 需要 2943.8，有效样本使用量减少了 60%。
• 在幂律图中，AMPL 使用了 1280.2 个有效样本（ESC(0.9)），远低于 MB 的 2300.4，表明在无标度网络中也保持了稳定的性能优势。
• 在所有测试图中，AMPL 的平均汉明误差始终低于 MB，尤其在样本量较低时优势更明显，证实了其在模型选择准确性上的优越性。
• 该框架可扩展至高斯模型之外；对于 Ising 模型，可用 $\ell_1$-正则化逻辑回归和条件独立性检验替代原有子程序，从而实现更广泛的应用。