[论文解读] Anchored Discrete Factor Analysis

Yoni Halpern, Steven Horng+1 more|arXiv (Cornell University)|Nov 10, 2015

Machine Learning and Data Classification参考文献 32被引用 5

一句话总结

本文提出锚定离散因子分析（ADFA），一种半监督方法，用于在存在任意潜变量依赖关系的情况下学习结构化的离散因子模型。通过利用用户指定的锚点变量——仅有一个潜变量父节点的观测变量——ADFA 可通过矩方法实现一致且多项式时间的潜变量矩与模型参数恢复，其在真实世界标签预测与医学诊断任务中优于判别基线模型。

ABSTRACT

We present a semi-supervised learning algorithm for learning discrete factor analysis models with arbitrary structure on the latent variables. Our algorithm assumes that every latent variable has an "anchor", an observed variable with only that latent variable as its parent. Given such anchors, we show that it is possible to consistently recover moments of the latent variables and use these moments to learn complete models. We also introduce a new technique for improving the robustness of method-of-moment algorithms by optimizing over the marginal polytope or its relaxations. We evaluate our algorithm using two real-world tasks, tag prediction on questions from the Stack Overflow website and medical diagnosis in an emergency department.

研究动机与目标

• 解决在存在未观测混淆因子的情况下学习可解释且可识别潜变量模型的挑战。
• 克服传统潜变量模型在离散因子分析中因不可识别性与计算不可行性带来的问题。
• 在无需先验网络结构知识的前提下实现潜变量结构学习，这是现实应用中的关键限制。
• 通过在边缘多面体上的约束优化，提升矩方法估计在模型误设情况下的鲁棒性。
• 证明结构化潜表示在真实世界数据集上的预测性能优于独立潜变量模型。

提出的方法

• 引入‘锚点’变量的概念——仅有一个潜变量父节点的观测变量，以实现潜变量一致的矩恢复。
• 采用两阶段矩方法：首先从锚点观测中恢复潜变量的低阶矩，然后重构联合潜结构。
• 在边缘多面体（或其松弛形式）上施加约束优化，以提升模型误设情况下矩估计的鲁棒性。
• 采用树状结构潜模型学习算法，高效地从恢复的矩中恢复潜依赖关系。
• 将基于锚点的矩估计与基于 EM 的优化相结合以实现似然最大化，但表明此类优化可能损害可解释性。
• 使用单纯形约束与边缘多面体的外逼近，以收紧矩估计并降低对噪声的敏感性。

实验结果

研究问题

• RQ1 我们能否仅通过观测数据与锚点变量，一致地恢复具有任意潜变量依赖关系的离散因子分析模型的结构与参数？
• RQ2 在模型误设情况下，对边缘多面体施加约束如何提升矩方法估计的鲁棒性？
• RQ3 在真实世界任务中，学习潜变量的结构化表示是否能带来优于独立潜变量模型的预测性能？
• RQ4 基于似然的优化（如 EM）相较于基于锚点的矩方法初始化，能在多大程度上提升性能？其是否保持可解释性？
• RQ5 锚点方法能否在保持计算高效与可解释性的同时，实现与最大似然估计相媲美性能？

主要发现

• ADFA 算法成功利用仅锚点观测，学习到具有任意二值潜变量依赖关系的结构化潜变量模型。
• 在 Stack Overflow 数据集上，树状结构 ADFA 模型在标签预测准确率上显著优于独立潜变量模型与判别基线模型。
• 在急诊科数据集上，模型表现强劲，但锚点的高信息量限制了进一步提升，表明锚点在知识发现中极为有效。
• 从 ADFA 初始化开始的基于似然的优化（EM）导致分类准确率下降，表明似然最大化可能扭曲潜变量的语义含义。
• 与‘头痛’锚点相关的潜变量在 EM 优化过程中语义发生偏移，转而与长否定范围相关联，而非临床症状，表明可解释性丧失。
• 对边缘多面体的优化施加约束，改善了潜分布的密度估计，但未转化为更好的预测准确率，表明模型拟合与任务性能之间存在权衡。