[論文レビュー] An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis

Wen Huang, Ke Wei|arXiv (Cornell University)|Sep 12, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用数 4

ひとこと要約

本稿は、スパース主成分分析（PCA）のためのリーマン最適化にFISTAアルゴリズムを拡張し、再起動技術と対角プレコンディショニングを組み合わせた加速リーマン近接勾配法を提案する。この手法は、最大96,000変数を含むデータセットを含む大規模なスパースPCA問題において、収束が速く、計算効率に優れている一方で、解の直交性とスパarsityを維持する。

ABSTRACT

Sparse principal component analysis (PCA), an important variant of PCA, attempts to find sparse loading vectors when conducting dimension reduction. This paper considers the nonsmooth Riemannian optimization problem associated with the ScoTLASS model for sparse PCA which can impose orthogonality and sparsity simultaneously. A Riemannian proximal method is proposed in the work of Chen et al. for the efficient solution of this optimization problem. In this paper, two acceleration schemes are introduced. First and foremost, we extend the FISTA method from the Euclidean space to the Riemannian manifold to solve sparse PCA, leading to the accelerated Riemannian proximal gradient method. Since the Riemannian optimization problem for sparse PCA is essentially non-convex, a restarting technique is adopted to stabilize the accelerated method without sacrificing the fast convergence. Second, a diagonal preconditioner is proposed for the Riemannian proximal subproblem which can further accelerate the convergence of the Riemannian proximal methods. Numerical evaluations establish the computational advantages of the proposed methods over the existing proximal gradient methods on a manifold. Additionally, a short result concerning the convergence of the Riemannian subgradients of a sequence is established, which, together with the result in the work of Chen et al., can show the stationary point convergence of the Riemannian proximal methods.

研究の動機と目的

• スパースPCAにおける滑らかでない非凸なリーマン最適化問題を、同時にスパarsityと直交性制約を満たすように解くという課題に対処する。
• FISTAにインspiredされた技術を用いて、標準的なリーマン近接勾配法の収束が遅い問題を加速することで、その問題を克服する。
• リーマン近接部分問題に対する対角プレコンディショナーを導入することで、計算効率を向上させる。
• 再起動戦略とリーマン部分勾配の理論的分析を組み合わせることで、停留点への収束を保証する。
• 合成および実世界のデータセット、特に大規模問題を対象として、提案手法の実用的優位性を示す。

提案手法

• FISTAアルゴリズムをユークリッド空間からリーマン多様体へ拡張し、加速リーマン近接勾配法（AManPG）を導出する。
• 非凸なリーマン問題において加速手法の安定性を高めるために、再起動技術を導入し、収束速度に悪影響を及げない。
• 局所的曲率に適応するため、リーマン近接部分問題に対する対角プレコンディショナーを提案する。
• スパースPCA問題を、Stiefel多様体上での滑らかでない最適化問題として定式化する：$-\|AX\|_{\mathrm{F}}^2 + \lambda\|X\|_1$ を $X^T X = I_p$ の制約のもとで最小化する。
• Chenら[CMSZ20]のリーマン近接勾配フレームワークを活用し、加速およびプレコンディショニングを追加で統合する。
• 最適化中に反復点をStiefel多様体上に維持するために、リトラクションおよびベクトルトランスポート操作を用いる。

実験結果

リサーチクエスチョン

• RQ1 FISTAの加速スキームは、非凸的で滑らかでない問題に一般化してリーマン最適化に成功するか？
• RQ2 再起動と加速の組み合わせは、リーマンスパースPCAにおける収束の安定性と速度をどのように向上させるか？
• RQ3 対角プレコンディショニングは、スパースPCAにおけるリーマン近接法の収束速度をどの程度向上させるか？
• RQ4 提案手法は、与えられた問題構造のもとで停留点への収束を達成するか？
• RQ5 大規模スパースPCA問題における問題サイズ（n, m, p）の増加に伴い、加速手法の計算パフォーマンスはどのようにスケーリングするか？

主な発見

• 提案手法AManPG-Dは、$n=96,000$、$m=1,280$、$p=16$ のスパースPCA問題を約29.32秒で解き、高いスパarsity（0.76）と分散保持率（0.60）を達成した。
• 最大問題サイズにおいてAManPG-Dは55イテレーションで解に到達し、部分勾配ノルムが$1.55 \times 10^{-2}$にまで低下しており、近似的な停留点への収束を示している。
• 複数の問題サイズにわたり、既存の多様体上での近接勾配法よりも計算効率に優れていることが実証された。
• 数値結果から、アルゴリズムが正規直交なローディング行列を維持するとともに、GPower手法と同等のデータ分散の大部分を保持していることが確認された。
• リーマン部分勾配の収束が厳密に裏付けられており、停留点への収束の理論的基盤を支持している。
• 対角プレコンディショナーは、特に高次元設定において収束を顕著に加速しており、大規模問題におけるイテレーション回数の削減と実行時間の短縮が実証された。