[논문 리뷰] ManifoldOptim: An R Interface to the ROPTLIB Library for Riemannian Manifold Optimization

Seán Martin, Andrew M. Raim외 2명|arXiv (Cornell University)|2016. 12. 12.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 6

한 줄 요약

ManifoldOptim은 Riemannian manifold 최적화를 위한 ROPTLIB C++ 라이브러리에 대한 인터페이스를 제공하는 R 패키지로, Stiefel, Grassmann, 그리고 양의 정부호 행렬과 같은 다양체 위에서 제약 조건이 있는 최적화 문제를 효율적으로 해결할 수 있도록 한다. 이 패키지는 Rcpp를 통한 R 및 C++ 구현을 모두 지원하며, 차원 감소 및 엔velope 모델에서 전통적인 방법과 유사한 성능을 보인다.

ABSTRACT

Manifold optimization appears in a wide variety of computational problems in the applied sciences. In recent statistical methodologies such as sufficient dimension reduction and regression envelopes, estimation relies on the optimization of likelihood functions over spaces of matrices such as the Stiefel or Grassmann manifolds. Recently, Huang, Absil, Gallivan, and Hand (2016) have introduced the library ROPTLIB, which provides a framework and state of the art algorithms to optimize real-valued objective functions over commonly used matrix-valued Riemannian manifolds. This article presents ManifoldOptim, an R package that wraps the C++ library ROPTLIB. ManifoldOptim enables users to access functionality in ROPTLIB through R so that optimization problems can easily be constructed, solved, and integrated into larger R codes. Computationally intensive problems can be programmed with Rcpp and RcppArmadillo, and otherwise accessed through R. We illustrate the practical use of ManifoldOptim through several motivating examples involving dimension reduction and envelope methods in regression.

연구 동기 및 목표

• ROPTLIB 라이브러리에서 유래한 최신 Riemannian 최적화 알고리즘을 R 사용자에게 제공하는 것.
• 고급 다양체 최적화와 R 내 통계 응용 간 격차를 메우며, 특히 차원 감소 및 엔벨로프 모델에서의 응용을 강화하는 것.
• Rcpp 및 RcppArmadillo를 통한 세밀한 통합을 통해 계산이 집약적인 작업에 대해 고성능 계산을 가능하게 하는 것.
• 다양체의 곱으로 구성된 최적화 문제를 구축하고 해결할 수 있는 유연한 프레임워크를 제공하는 것. 여기서 여러 변수들이 서로 다른 다양체에 제약을 받는다.

제안 방법

• R의 외부 함수 인터페이스를 사용하여 C++ ROPTLIB 라이브러리를 감싸, R에서 다양체 최적화 기능을 노출한다.
• 프로토타이핑을 위한 순수 R 구현과 성능이 중요한 작업을 위한 Rcpp 및 RcppArmadillo를 통한 C++ 구현을 모두 지원한다.
• 핵심 Riemannian 다양체인 Stiefel, Grassmann, 단위 구면, 양의 정부호 행렬, 낮은 질량의 행렬, 직교군, 유클리드 공간에서의 최적화를 구현한다.
• 분석적 기울기와 헤시안이 제공되지 않을 경우 수치 미분을 후행 수단으로 사용한다.
• 강력한 수렴성을 보장하기 위해 RTRSR1, RBFGS, 신뢰영역 방법과 같은 고급 Riemannian 해법을 적용한다.
• 다양체의 곱을 조합하여 여러 다양체에 제약을 받는 변수들을 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 R 사용자가 이전에는 C++나 MATLAB 전용이었던 고성능 Riemannian 최적화 알고리즘을 효율적으로 접근할 수 있는가?
• RQ2 ManifoldOptim의 성능는 충분한 차원 감소 및 엔벨로프 모델에서 전통적인 폐쇄형 추정 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 다양체의 곱 최적화를 통해 다변량 제약 추정에서의 구현을 단순화하면서도 정확성을 유지할 수 있는가?
• RQ4 복잡한 통계 모델에서 분석적 표현이 없는 경우 ManifoldOptim의 수치 도함수는 얼마나 효과적으로 대체할 수 있는가?
• RQ5 ManifoldOptim은 다중공선성이 있는 회귀 모델에서 발생하는 추정 편향을 얼마나 효과적으로 줄일 수 있는가?

주요 결과

• ManifoldOptim은 비정형 및 엔벨로프-∆PFC 매개변수 추정 모두에서 전통적인 폐쇄형 방법과 유사한 성능을 달성하였으며, d(∆, b∆) = 2.68 및 ρ(Γ, bΓ) = 0.17를 기록하였다.
• 엔벨로프-∆PFC 매개변수의 경우 진짜 값과 추정 값 간의 공분산 차이가 크게 감소하였으며, d(Ω, bΩ) = 0.03 및 d(Ω0, bΩ0) = 0.35였다.
• 높은 다중공선성을 가진 로지스틱 회귀에서 GLM 추정치는 심각하게 편향되었으며 (β1 = -0.12, β2 = 0.63), 그러나 ManifoldOptim과 Cook의 알고리즘 1 모두 진짜 값 (β1 = 0.25, β2 = 0.24) 을 회복하였다.
• ManifoldOptim을 사용한 다양체의 곱 최적화는 Cook의 알고리즘 1과 동일한 결과를 도출하여 정확성과 사용성의 타당성을 입증하였다.
• ManifoldOptim에서 수치 도함수의 사용은 분석적 표현과 일관된 결과를 도출하였으며, 실질적인 적용에서의 강건성을 입증하였다.
• 이 패키지는 충분한 차원 감소 및 회귀 엔벨로프 등 다양체 제약 매개변수를 포함하는 복잡한 통계 모델의 실용적 구현을 가능하게 하였다.