[論文レビュー] An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA

Shixiang Chen, Shiqian Ma+2 more|arXiv (Cornell University)|Mar 27, 2019

Sparse and Compressive Sensing Techniques参考文献 57被引用数 7

ひとこと要約

本稿では、非凸で非滑らかな最適化問題に、多様体制約を課したスパースPCAおよびスパースCCAのための交互多様体プロキシマル勾配法を提案する。この手法は静的点への収束を保証し、数値実験において優れた性能を示し、高次元スパース部分空間学習に統一的かつ理論的裏付けのあるアプローチを提供する。

ABSTRACT

Sparse principal component analysis (PCA) and sparse canonical correlation analysis (CCA) are two essential techniques from high-dimensional statistics and machine learning for analyzing large-scale data. Both problems can be formulated as an optimization problem with nonsmooth objective and nonconvex constraints. Since non-smoothness and nonconvexity bring numerical difficulties, most algorithms suggested in the literature either solve some relaxations or are heuristic and lack convergence guarantees. In this paper, we propose a new alternating manifold proximal gradient method to solve these two high-dimensional problems and provide a unified convergence analysis. Numerical experiment results are reported to demonstrate the advantages of our algorithm.

研究の動機と目的

• 非凸的で非滑らかな最適化問題として、スパースPCAおよびスパースCCAを解く課題に対処すること。
• 緩和手法に依存するか、収束保証がない既存手法の限界を克服すること。
• スパースPCAおよびスパースCCAの両方に適用可能な統一的なアルゴリズムフレームワークを開発すること。
• 厳密な理論的分析を通じて、静的点へのグローバル収束を保証すること。
• 高次元データに対してスパース解を効率的かつ数値的に安定に得られる手法を提供すること。

提案手法

• スパースPCAおよびCCAを、滑らかでない目的関数と、負荷行列への直交制約を伴う最適化問題として定式化する。
• 交互に多様体制約付き変数（A）とスパース変数（B）を、プロキシマル勾配を用いて更新する、交互多様体プロキシマル勾配法を導入する。
• Stiefel多様体上でのリトラクションに基づく更新を用い、Aの正規直交性を維持することで、各反復で妥当性を保証する。
• Elastic-net型正則化を用いたプロキシマル勾配ステップをBに適用し、スパース解を実現する。
• 勾配のリプシッツ連続性と目的関数の有界性の仮定を用いて、降下不等式を導出し、収束保証を導出する。
• リャプノフ型関数と有界列の議論を用いて、静的点への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸的で非滑らかく、多様体制約付きの最適化問題において、統一的かつ収束性を保証するアルゴリズムを構築できるか？
• RQ2 非凸性と非滑らかさが存在する中で、提案手法の交互多様体プロキシマル勾配法が静的点への収束を達成できるか？
• RQ3 既存のヒューリスティック的または緩和的アプローチと比較して、性能および安定性に優れているか？
• RQ4 反復列の収束に対する理論的保証をどの程度確立できるか？
• RQ5 高次元設定において、スパースで解釈可能な成分を効果的に回復できるか？

主な発見

• 提案手法は、スパースPCAおよびスパースCCAの最適化問題の静的点へ収束し、強力な理論的保証を提供する。
• 勾配のリプシッツ連続性と目的関数の有界性といった、弱い仮定のもとで収束が確立される。
• 数値実験により、既存手法と比較して収束速度と解の品質の両面で優れた性能を示す。
• 古典的PCA/CCAが失敗する状況でも、高次元データにおいてスパースで解釈可能な成分を効果的に回復する。
• 収束速度は有界である：標準的な仮定のもとで、ϵ-静的点はO(1/ϵ²)反復以内に達成可能である。
• リトラクションに基づく更新により、反復全体にわたり多様体制約（Aの直交性）の妥当性が維持される。