[论文解读] ManifoldOptim: An R Interface to the ROPTLIB Library for Riemannian Manifold Optimization

Seán Martin, Andrew M. Raim+2 more|arXiv (Cornell University)|Dec 12, 2016

Gaussian Processes and Bayesian Inference参考文献 23被引用 6

一句话总结

ManifoldOptim 是一个 R 包，为 Riemannian 流形优化提供对 ROPTLIB C++ 库的接口，支持在 Stiefel、Grassmann 和正定矩阵等流形上高效求解约束优化问题。该包通过 Rcpp 支持 R 和 C++ 实现，并在降维和包络模型中表现出与经典方法相当的性能。

ABSTRACT

Manifold optimization appears in a wide variety of computational problems in the applied sciences. In recent statistical methodologies such as sufficient dimension reduction and regression envelopes, estimation relies on the optimization of likelihood functions over spaces of matrices such as the Stiefel or Grassmann manifolds. Recently, Huang, Absil, Gallivan, and Hand (2016) have introduced the library ROPTLIB, which provides a framework and state of the art algorithms to optimize real-valued objective functions over commonly used matrix-valued Riemannian manifolds. This article presents ManifoldOptim, an R package that wraps the C++ library ROPTLIB. ManifoldOptim enables users to access functionality in ROPTLIB through R so that optimization problems can easily be constructed, solved, and integrated into larger R codes. Computationally intensive problems can be programmed with Rcpp and RcppArmadillo, and otherwise accessed through R. We illustrate the practical use of ManifoldOptim through several motivating examples involving dimension reduction and envelope methods in regression.

研究动机与目标

• 为 R 用户提供对 ROPTLIB 库中先进 Riemiemannian 优化算法的访问。
• 弥合先进流形优化与 R 中统计应用之间的差距，特别是在降维和包络模型中的应用。
• 通过与 Rcpp 和 RcppArmadillo 的无缝集成，实现高性能计算，以应对计算密集型任务。
• 提供一个灵活的框架，用于构建和求解在乘积流形上的优化问题，其中多个变量被约束在不同的流形上。

提出的方法

• 使用 R 的外部函数接口封装 C++ ROPTLIB 库，将流形优化功能暴露给 R。
• 支持纯 R 实现以用于原型设计，以及通过 Rcpp 和 RcppArmadillo 实现的 C++ 代码以应对性能关键任务。
• 在关键 Riemannian 流形上实现优化：Stiefel、Grassmann、单位球面、正定矩阵、低秩矩阵、正交群和欧氏空间。
• 当缺乏解析梯度和 Hessian 矩阵时，使用数值微分作为后备方案。
• 采用先进的 Riemannian 求解器，包括 RTRSR1、RBFGS 和信赖域方法，以实现稳健收敛。
• 通过组合多个流形实现乘积流形优化，支持在不同流形上对多个约束变量同时进行优化。

实验结果

研究问题

• RQ1 R 用户能否高效访问此前仅限于 C++ 或 MATLAB 的高性能 Riemannian 优化算法？
• RQ2 ManifoldOptim 在充分降维和包络模型中的性能与经典闭式估计方法相比如何？
• RQ3 乘积流形优化能否在保持精度的同时简化多变量约束估计的实现？
• RQ4 在复杂统计模型中，ManifoldOptim 中的数值导数在多大程度上可替代解析表达式？
• RQ5 ManifoldOptim 在缓解回归模型中由共线性引起的估计偏差方面效果如何？

主要发现

• ManifoldOptim 在无结构化和包络-∆PFC 参数估计中均实现了与经典闭式方法相当的性能，其中 d(∆, b∆) = 2.68 且 ρ(Γ, bΓ) = 0.17。
• 对于包络-∆PFC 参数，真实值与估计值之间的协方差差异显著减小，d(Ω, bΩ) = 0.03 且 d(Ω0, bΩ0) = 0.35。
• 在高共线性条件下的逻辑回归中，GLM 估计严重偏差（β1 = -0.12，β2 = 0.63），而 ManifoldOptim 和 Cook 的算法 1 均成功恢复了真实值（β1 = 0.25，β2 = 0.24）。
• 使用 ManifoldOptim 进行乘积流形优化的结果与 Cook 的算法 1 一致，验证了其准确性和可用性。
• ManifoldOptim 中使用数值导数的结果与解析表达式一致，证明了其在实际应用中的鲁棒性。
• 该包实现了涉及流形约束参数的复杂统计模型的实际应用，例如充分降维和回归包络模型。