[论文解读] Constrained Bayesian Inference for Low Rank Multitask Learning

Oluwasanmi Koyejo, Joydeep Ghosh|arXiv (Cornell University)|Sep 26, 2013

Statistical Methods and Inference参考文献 22被引用 9

一句话总结

该论文提出了一种非凸约束贝叶斯推断框架，可在不依赖约束集凸性的情况下实现低秩多任务学习。通过将变分推断表述为可行密度集上的参数化优化，该方法联合学习低秩权重矩阵与稀疏精度结构，在高维神经影像数据上实现了比基线方法更优的预测准确率与结构恢复性能。

ABSTRACT

We present a novel approach for constrained Bayesian inference. Unlike current methods, our approach does not require convexity of the constraint set. We reduce the constrained variational inference to a parametric optimization over the feasible set of densities and propose a general recipe for such problems. We apply the proposed constrained Bayesian inference approach to multitask learning subject to rank constraints on the weight matrix. Further, constrained parameter estimation is applied to recover the sparse conditional independence structure encoded by prior precision matrices. Our approach is motivated by reverse inference for high dimensional functional neuroimaging, a domain where the high dimensionality and small number of examples requires the use of constraints to ensure meaningful and effective models. For this application, we propose a model that jointly learns a weight matrix and the prior inverse covariance structure between different tasks. We present experimental validation showing that the proposed approach outperforms strong baseline models in terms of predictive performance and structure recovery.

研究动机与目标

• 开发一种能够处理多任务学习中非凸约束集的贝叶斯推断框架。
• 在高维设置下，联合学习低秩权重矩阵与稀疏条件独立结构。
• 解决功能神经影像数据中样本量小与维度高的挑战。
• 通过利用受约束先验对任务关系进行建模，实现在神经影像中的反向推理。
• 通过在精度矩阵上施加结构化先验，提升模型的可解释性与预测性能。

提出的方法

• 该方法将受约束的变分推断表述为可行概率密度集上的参数化优化。
• 提出了一种通用的受约束贝叶斯推断方法，无需约束集为凸集。
• 该方法适用于对权重矩阵施加秩约束的多任务学习，以强制实现低秩结构。
• 通过受约束的参数估计学习稀疏精度矩阵，将任务依赖关系的先验知识融入模型。
• 该框架采用联合模型，同时推断权重矩阵与先验精度结构。
• 通过重参数化实现优化，使标准变分推断技术能够高效计算。

实验结果

研究问题

• RQ1 贝叶斯推断能否在多任务学习的非凸约束集中有效应用？
• RQ2 如何在保持计算可及性的同时强制实现权重矩阵中的低秩结构？
• RQ3 能否从高维数据中可靠地恢复任务之间的稀疏条件独立结构？
• RQ4 与强基线方法相比，所提方法在预测性能与结构恢复方面表现如何？
• RQ5 联合学习权重矩阵与精度矩阵是否能提升功能神经影像中的反向推理能力？

主要发现

• 所提方法在高维神经影像数据集上相比强基线模型实现了更优的预测性能。
• 模型成功恢复了任务间潜在的稀疏条件独立结构，精度与召回率均表现良好。
• 即使约束为非凸，该方法在预测准确率与结构恢复方面仍优于凸约束的替代方法。
• 联合学习权重矩阵与先验精度矩阵可得到更稳健且可解释性更强的模型。
• 实证结果表明，该方法在典型的功能神经影像中小样本、高维设置下具有显著有效性。
• 该框架通过基于结构化先验学习任务关系，实现了有意义的反向推理。