[論文レビュー] An Extension of FISTA to Riemannian Optimization for Sparse PCA

Wen Huang, Ke Wei|arXiv (Cornell University)|Sep 12, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用数 10

ひとこと要約

この論文は、スパースPCAのためのリーマン最適化にFISTAアルゴリズムを拡張し、再起動技術と対角プリコンディショニングを用いた加速されたリーマン近接勾配法を提案する。本手法は、既存の多様体上での近接法と比較して収束が速く、性能が向上しており、定常点への理論的収束が確立されている。

ABSTRACT

Sparse PCA, an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

研究の動機と目的

• スパースPCAにおける滑らかでない非凸なリーマン最適化問題を、同時にスパarsityと直交制約を満たすように解く挑戦に応えること。
• FISTAアルゴリズムをユークリッド空間からリーマン多様体へ拡張し、スパースPCA最適化における収束速度を向上させること。
• リーマン近接部分問題に対角プリコンディショナーを適用することで、収束速度を向上させること。
• 非凸なリーマン問題に適した再起動技術を用いて、加速手法の安定性を高めること。
• 部分勾配解析を用いて、リーマン近接法が定常点に収束することを理論的に確立すること。

提案手法

• リーマン幾何学を活用してスティーフェル多様体上で最適化を実行するため、FISTAをリーマン多様体へ拡張した加速されたリーマン近接勾配法を提案する。
• 非凸な設定において加速手法の安定性を高めるために、再起動戦略を導入し、高速な収束率を維持する。
• 局所的な曲率に適応するために、リーマン近接部分問題に対角プリコンディショナーを適用し、収束を加速する。
• リーマン部分勾配を用い、その列の収束結果を確立することで、手法の理論的基盤を裏付ける。
• リーマン近接法と加速勾配スキームを組み合わせ、スパースPCAのScoTLASSモデルを解く。
• 多様体ベースの最適化技術を用いて、ローディングベクトルの直交性を維持しながらスパarsityを強制する。

実験結果

リサーチクエスチョン

• RQ1 FISTAの加速フレームワークは、スパースPCAのためのリーマン最適化に成功裏に拡張可能か？
• RQ2 再起動は、非凸なリーマン設定下での加速されたリーマン近接勾配法の安定性と収束性をどのように向上させるか？
• RQ3 対角プリコンディショニングは、スパースPCAにおけるリーマン近接部分問題の収束速度をどの程度向上させるか？
• RQ4 提案手法は、リーマン近接フレームワーク下で定常点に収束するか？
• RQ5 提案された加速技術は、既存の多様体上での近接勾配法と比較して、計算的にどの程度優れているか？

主な発見

• 提案された加速されたリーマン近接勾配法は、多様体上での既存の近接勾配法よりも収束が速い。
• 再起動技術は、非凸なリーマン設定下でも加速手法の安定性を効果的に高め、収束速度を損なわずに保つ。
• 対角プリコンディショナーは、局所幾何に適応することで、リーマン近接部分問題の解法を顕著に加速する。
• 理論的解析により、リーマン部分勾配列を用いた定常点への収束が確認され、Chenらの先行研究を補完する。
• 数値評価では、テストケースにかかわらず一貫した計算上の利点が示され、提案フレームワークの効率性が検証された。