[论文解读] Fast multi-output relevance vector regression

Youngmin Ha|arXiv (Cornell University)|Apr 17, 2017

Face and Expression Recognition参考文献 23被引用 4

一句话总结

该论文通过使用矩阵正态分布而非多元正态分布来建模相关输出，提出了一种更快的多输出相关向量回归（MRVR）算法，将时间复杂度从 O(VM³) 降低至 O(V³ + M³)。该方法在输出维度较大时显著提升了计算速度，同时改善了噪声协方差估计，但代价是均值预测精度略有下降，且因权重正则化中的结构假设导致相关向量数量增加。

ABSTRACT

This paper aims to decrease the time complexity of multi-output relevance vector regression from O(VM^3) to O(V^3+M^3), where V is the number of output dimensions, M is the number of basis functions, and V

研究动机与目标

• 为大规模、多维输出问题的多输出相关向量回归（MRVR）降低计算时间复杂度。
• 通过使用矩阵正态分布显式建模输出相关性，提升噪声协方差矩阵估计的准确性。
• 解决现有MRVR方法在输出维度（V）和基函数数量（M）增加时扩展性差的问题。
• 在计算速度与预测精度之间取得平衡，识别模型中结构假设带来的权衡。

提出的方法

• 用矩阵正态分布替代传统MRVR中的多元正态似然模型，以更好地捕捉噪声结构中的跨输出相关性。
• 利用矩阵微积分推导权重后验分布的新闭式解，通过高效的矩阵求逆实现更快计算。
• 引入关键假设 Ω = E[WᵀW]/tr(A⁻¹) 以约束权重矩阵，加速计算但影响均值预测精度。
• 结合核技巧与稀疏贝叶斯学习原理，在保持模型灵活性的同时减轻计算负担。
• 改用对 V×V 和 M×M 矩阵的求逆操作（O(V³ + M³)），替代原始的 O(VM³) 复杂度，利用大多数应用场景中 V < M 的条件。
• 在 MATLAB 中实现该算法，并公开提供代码，以确保可复现性并促进实际应用。

实验结果

研究问题

• RQ1 多输出相关向量回归的时间复杂度能否从 O(VM³) 降低至 O(V³ + M³)，同时不损失预测性能？
• RQ2 与独立高斯假设相比，通过矩阵正态分布建模输出相关性如何提升噪声协方差估计的准确性？
• RQ3 结构假设 Ω = E[WᵀW]/tr(A⁻¹) 在均值预测精度和相关向量数量方面带来了哪些权衡？
• RQ4 所提方法在输出维度（V）和基函数数量（M）增加时的可扩展性如何？

主要发现

• 所提MRVR方法将时间复杂度从 O(VM³) 降低至 O(V³ + M³)，显著提升了计算速度，尤其在 V 和 M 较大时效果明显。
• 该方法在噪声协方差矩阵 Ω 的估计中表现出更高的准确性，所有测试配置下协方差估计的RMSE均更低。
• 所提方法与现有方法在计算时间上的差异随 V 和 N 增大而增加，证实了理论上的复杂度优势。
• 该方法在均值预测上的RMSE更高（见表5），尤其在高 V 和低 N 情况下，表明对真实函数均值的估计精度有所下降。
• 所提方法的相关向量（RVs）数量更多（见表6），表明由于权重正则化假设导致解的稀疏性降低。
• 尽管在均值精度和稀疏性方面存在权衡，但该方法在噪声协方差估计方面更高效且更准确，适用于对这些指标优先考虑的应用场景。