[論文レビュー] Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold

Shixiang Chen, Shiqian Ma+2 more|arXiv (Cornell University)|Nov 2, 2018

Sparse and Compressive Sensing Techniques参考文献 90被引用数 6

ひとこと要約

本稿では、Stiefel多様体上での非滑らか最適化のための再帰的勾配降下法（ManPG）を提案する。この手法は、接空間上での近位勾配ステップとリーマン的再帰を組み合わせるものであり、局所最適解へのグローバル収束を確立するとともに、反復複雑度を分析し、スパースPCAおよび圧縮モード問題において既存手法を上回る性能を示す。

ABSTRACT

We consider optimization problems over the Stiefel manifold whose objective function is the summation of a smooth function and a nonsmooth function. Existing methods for solving this kind of problems can be classified into three classes. Algorithms in the first class rely on information of the subgradients of the objective function and thus tend to converge slowly in practice. Algorithms in the second class are proximal point algorithms, which involve subproblems that can be as difficult as the original problem. Algorithms in the third class are based on operator-splitting techniques, but they usually lack rigorous convergence guarantees. In this paper, we propose a retraction-based proximal gradient method for solving this class of problems. We prove that the proposed method globally converges to a stationary point. Iteration complexity for obtaining an $ε$-stationary solution is also analyzed. Numerical results on solving sparse PCA and compressed modes problems are reported to demonstrate the advantages of the proposed method.

研究の動機と目的

• Stiefel多様体上での非滑らか非凸最適化のための効率的でグローバルに収束するアルゴリズムの不足に対処すること。
• 従来手法の限界（勾配の部分微分に依存するため収束が遅い、近位点法では部分問題が難解、分割作用素法では収束保証が弱い）を克服すること。
• 接空間上での近位勾配情報を利用しつつ、再帰を用いて多様体制約を維持する手法を開発すること。
• ε-停留点解を得るためのグローバル収束性と反復複雑度の上限を確立すること。
• 特に高ランク解（r > 1）を求める際のスパースPCAおよび圧縮モード問題において、実用的効率性と頑健性を示すこと。

提案手法

• Stiefel多様体の接空間上での近位勾配ステップを計算するリーマン的近位勾配法（ManPG）を提案する。
• 反復の各ステップで制約を満たすように再帰に基づく更新を用い、反復列が常にStiefel多様体上に留まるように保証する。
• 各反復で目的関数の十分な減少を保証するためのラインサーチ戦略を導入する。
• 降下方向を計算するための凸部分問題を効率的に解くために、正則化された半滑らかニュートン法を採用する。
• ℓ₁ノルムの近位写像の半滑らか性を活用し、部分問題の解法を高速かつ頑健に保証する。
• 標準的な仮定の下で収束を分析する：滑らか部分のLipschitz連続勾配と、凸、Lipschitz連続、かつ近位的に取り扱いやすい非滑らか部分。

実験結果

リサーチクエスチョン

• RQ1 Stiefel多様体上での近位勾配法は、明確な降下方向が定義される非滑らか非凸問題に対してグローバル収束を達成できるか？
• RQ2 提案手法は、ε-停留点解を得るための既存手法と比較して、より優れた反復複雑度を達成できるか？
• RQ3 スパースPCAおよびr > 1の圧縮モード問題のような困難な問題において、実際の性能はいかがなっているか？
• RQ4 SOC や PAMAL と比較して、パラメータ選択に対して頑健であるか？
• RQ5 近位写像が区分的滑らかである場合、降下方向を計算する部分問題は半滑らかニュートン法を用いて効率的に解けるか？

主な発見

• 提案されたManPG手法は、Stiefel多様体上での非滑らか最適化問題の停留点にグローバルに収束する。
• 標準的な仮定の下で、ε-停留点解を得るための反復複雑度がO(1/ε²)であることを示した。
• r > 1のスパースPCA問題において、ManPGはCPU時間の面でSOCおよびPAMALを著しく上回り、同等の解品質を達成した。
• ManPGは、SOCやPAMALと比較してパラメータチューニングに対して敏感でないため、実用的においてより頑健であることが示された。
• 圧縮モード問題における数値結果から、ManPGはスパースかつ直交する解（コンパクトサポート付き）を効率的に見つけられることを示した。
• 部分問題の解法に正則化された半滑らかニュートン法を用いることで、降下方向の計算が高速かつ信頼性高く実現され、全体の効率性が向上した。