[論文レビュー] A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold

Nachuan Xiao, Xin Liu+1 more|arXiv (Cornell University)|Mar 5, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、Stiefel多様体上での非滑らか問題に対する罰則なし不実行可能最適化手法、逐次線形化近接勾配法（SLPG）を提案する。SLPGは、不正確で正規直交化を要しない接線方向ステップと、テイラー展開による近似で実行可能性を向上させる法線方向ステップを交互に実行し、罰則パラメータを排除することで、滑らかでかつℓ₂,₁正則化付きの問題において高い効率とグローバル収束性を達成する。

ABSTRACT

Transforming into an exact penalty function model with convex compact constraints yields efficient infeasible approaches for optimization problems with orthogonality constraints. For smooth and $\ell_{2,1}$-norm regularized cases, these infeasible approaches adopt simple and orthonormalization-free updating scheme and show their high efficiency in the test examples. However, to avoid orthonormalization while enforcing the feasibility of the final solution, these infeasible approaches introduce a quadratic penalty term, where an inappropriate penalty parameter can lead to numerical inefficiency. Inspired by penalty-free approaches for smooth optimization problems, we proposed a proximal first-order algorithm for a class of optimization problems with orthogonality constraints and nonsmooth regularization term. The consequent algorithm, named sequential linearized proximal gradient method (SLPG), alternatively takes tangential steps and normal steps to improve the optimality and feasibility respectively. In SLPG, the orthonormalization process is invoked only once at the last step if high precision in feasibility is needed, showing that main iterations in SLPG are orthonormalization-free. Besides, both the tangential steps and normal steps do not involve the penalty parameter, and thus SLPG is penalty-free and avoids the inefficiency by inappropriate penalty parameter. We analyze the global convergence properties of SLPG where the tangential steps are inexactly computed. By inexactly computing tangential steps, for smooth cases and $\ell_{2,1}$-norm regularized cases, SLPG has a closed-form updating scheme, which leads to its cheap tangential steps. Numerical experiments illustrate the numerical advantages of SLPG when compared with existing first-order methods.

研究の動機と目的

• 罰則パラメータの選択に敏感なペナルティベースの不実行可能手法の非滑らか最適化における非効率性を是正する。
• 主反復処理中に正規直交化を回避しつつ、最終段階で実行可能性を保証するスケーラブルな不実行可能フレームワークを構築する。
• 非滑らか正則化と直交制約を有する合成最適化問題クラスにおけるグローバル収束性を確立する。
• 高次元データを伴う問題、例えばスパースPCAやKohn-Shamエネルギー最小化に対して、計算的に効率的なアプローチを提供する。
• 正規直交化を回避しつつ、極分解に基づく法線方向ステップによって実行可能性を維持する。

提案手法

• 接線方向ステップと法線方向ステップを交互に実行することで最適性と実行可能性を別々に改善する、逐次線形化近接勾配（SLPG）法を提案する。
• アフィン部分空間における線形化近接部分問題を用いて接線方向ステップを計算し、反復点が実行可能である場合には、接空間部分問題に帰着する。
• 目的関数が滑らかまたはℓ₂,₁正則化付きの場合、固定点反復または直接閉形式解を用いて接線方向ステップを計算し、低コストな計算を実現する。
• 極分解の一次近似に基づく法線方向ステップにより、正規直交化プロセスを近似する。
• 最終反復でのみ正規直交化を実施することで、高精度の実行可能性を達成し、主反復は正規直交化フリーを保つ。
• 最適性と実行可能性の改善を分離することで罰則パラメータを完全に排除し、不適切な罰則パラメータ選択による数値的不安定性を回避する。

実験結果

リサーチクエスチョン

• RQ1 罰則なし不実行可能手法は、Stiefel多様体上での非滑らか最適化においてもグローバル収束性を達成できるか？
• RQ2 ペナルティ項に依存せずに、接線方向と法線方向ステップを最適性と実行可能性の改善に独立して設計する方法は何か？
• RQ3 大規模問題において、正規直交化フリーな手法は、既存の一次元手法と比較してどの程度の計算効率を示すか？
• RQ4 滑らかおよびℓ₂,₁正則化付きの場合に、接線方向部分問題に対して閉形式解または安価な解法が得られるか？
• RQ5 提案手法は、スパースPCAやKohn-Shamエネルギー最小化を含む多様な応用分野においても、頑健な性能を維持できるか？

主な発見

• SLPGは、問題構造に関する包括的仮定の下で、接線方向ステップが不正確に計算されてもグローバル収束性を達成する。
• 滑らかおよびℓ₂,₁正則化付きのケースでは、SLPGが閉形式または計算的に安価な接線方向更新を提供し、効率的な反復を実現する。
• 数値実験の結果、SLPGは、さまざまなテストケースにおいて、既存の一次元手法（例：ManOptQR, PenCF, PCAL, OptM）をCPU時間および反復回数の両面で上回る。
• アラニンデータセット（n=12671, p=18）では、SLPGは73反復、21.27秒を要し、PenCF（83反復、24.10秒）およびPCAL（97反復、30.56秒）を上回った。
• 大規模なペンタセンデータセット（n=44791, p=51）では、SLPGは113反復、308.88秒を要し、ManOptQR（1000反復、425.62秒）よりも顕著に高速であり、PenCF（109反復、301.13秒）と同等の性能を示した。
• すべてのテストケースにおいて、SLPGは実行可能性違反を1e-15未満に維持し、最終反復での一度の正規直交化により高精度の実行可能性を達成した。