[论文解读] Low Complexity Gaussian Latent Factor Models and a Blessing of Dimensionality.

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|Jun 11, 2017

Bayesian Modeling and Causal Inference参考文献 27被引用 6

一句话总结

该论文提出了一种新颖的、低复杂度的高斯隐因子模型，利用维度提升来改善高维、欠采样场景下的结构恢复与协方差估计。通过构建一个无约束的信息论目标函数，该方法能够实现对应于结构化隐因子模型的全局最优解，在高维情形下，其在合成数据和真实世界数据上的表现均优于当前最先进的方法。

ABSTRACT

Learning the structure of graphical models from data usually incurs a heavy curse of dimensionality that renders this problem intractable in many real-world situations. The rare cases where the curse becomes a blessing provide insight into the limits of the efficiently computable and augment the scarce options for treating very under-sampled, high-dimensional data. We study a special class of Gaussian latent factor models where each (non-iid) observed variable depends on at most one of a set of latent variables. We derive information-theoretic lower bounds on the sample complexity for structure recovery that suggest complexity actually decreases as the dimensionality increases. Contrary to this prediction, we observe that existing structure recovery methods deteriorate with increasing dimension. Therefore, we design a new approach to learning Gaussian latent factor models that benefits from dimensionality. Our approach relies on an unconstrained information-theoretic objective whose global optima correspond to structured latent factor generative models. In addition to improved structure recovery, we also show that we are able to outperform state-of-the-art approaches for covariance estimation on both synthetic and real data in the very under-sampled, high-dimensional regime.

研究动机与目标

• 解决从高维、欠采样数据中学习图模型时面临的维度灾难问题。
• 探究在隐因子模型恢复中，维度增加是否能够降低样本复杂度，与传统预期相反。
• 开发一种可扩展的信息论方法，用于结构恢复，且能从高维性中获益。
• 与现有最先进的方法相比，提升在极高维、低样本量情形下的协方差估计性能。

提出的方法

• 为学习隐因子模型提出一个无约束的信息论目标函数，避免了显式正则化或约束的需要。
• 设计该目标函数，使其全局最优解对应于结构化的隐因子生成模型，其中每个观测变量最多依赖于一个隐变量。
• 推导出样本复杂度的信息论下界，揭示在此模型类别中，复杂度随维度增加而降低。
• 采用一种可扩展的优化过程，直接最小化信息论目标函数，从而实现在高维设置下的高效学习。
• 将该方法整合到一个同时支持结构恢复与协方差估计的框架中，利用维度的“福音”效应。
• 在合成数据和真实世界数据上验证了该方法，证明其在高维、低样本情形下具有鲁棒性和优越性。

实验结果

研究问题

• RQ1 在高斯隐因子模型中，高维性是否能够降低结构恢复所需的样本复杂度？
• RQ2 为何现有结构恢复方法在维度增加时性能下降，尽管理论下界表明其应表现更好？
• RQ3 无约束的信息论目标是否能无需显式正则化而实现全局最优的结构化隐因子模型？
• RQ4 在极端欠采样与高维条件下，该方法是否在协方差估计上优于现有最先进方法？
• RQ5 该模型结构在何种方式下能够提升高维、低样本情形下的泛化能力？

主要发现

• 理论分析表明，在所研究的高斯隐因子模型类别中，结构恢复的样本复杂度随维度增加而降低。
• 尽管存在此理论优势，现有结构恢复方法在维度增加时性能仍会下降，表明理论与实践之间存在差距。
• 所提出的方法在高维、欠采样设置下，相比最先进技术，实现了更优的结构恢复性能。
• 当样本数相对于维度较小时，该方法在合成数据和真实世界数据上的协方差估计性能优于现有方法。
• 无约束的信息论目标成功识别出具有全局最优性保证的结构化隐因子模型。
• 实证结果证实，在此模型类别中，维度起到了“福音”而非“诅咒”的作用，使得在极端数据稀缺条件下仍能实现稳健学习。