[論文レビュー] A globally and linearly convergent PGM for zero-norm regularized quadratic optimization with sphere constraint

Yuqia Wu, Shaohua Pan+1 more|arXiv (Cornell University)|Nov 11, 2018

Sparse and Compressive Sensing Techniques参考文献 14被引用数 1

ひとこと要約

本稿は、零ノルム正則化付き二次的最適化問題に球面制約を課した場合に、指数1/2のKurdyka-Łojasiewicz (KL) 性質を活用して、グローバルかつ線形収束するプロキシマル勾配法 (PGM) を提案する。この手法は、スパース主成分分析 (PCA) においてスパース解に収束することを保証し、合成データおよび実データを用いた数値的検証がなされている。

ABSTRACT

This paper is concerned with the zero-norm regularized quadratic optimization with a sphere constraint, which has an important application in sparse eigenvalue problems. For this class of nonconvex and nonsmooth optimization problems, we establish the KL property of exponent 1/2 for its extended-valued objective function and develop a globally and linearly convergent proximal gradient method (PGM). Numerical experiments are included for sparse principal component analysis (PCA) with synthetic and real data to confirm the obtained theoretic results.

研究の動機と目的

• 非凸的かつ非滑らかである零ノルム正則化付き二次的最適化問題に球面制約を課す課題に対処すること。
• この問題クラスの拡張値目的関数に対して、指数1/2のKurdyka-Łojasiewicz (KL) 性質を確立すること。
• グローバル収束を保証し、線形収束率を達成するプロキシマル勾配法 (PGM) を開発すること。
• この手法をスパース固有値問題、特にスパース主成分分析 (PCA) に応用すること。

提案手法

• 理論的分析により、零ノルム正則化問題の拡張値目的関数が指数1/2のKL性質を満たすことを証明する。
• 零ノルム項のプロキシマル作用素と球面制約に基づいて、プロキシマル勾配法 (PGM) を設計する。
• PGMは、二次項と零ノルム正則化を含む部分問題を繰り返し解くことで解を逐次更新する。
• 収束解析はKL性質を活用し、線形収束率を伴うグローバル収束を確立する。
• 単位ノルム解を強制する球面制約を組み込むことで、スパースPCAにアルゴリズムを適応する。
• 数値実装では、プロキシマル更新における零ノルムの近似処理に類似したソフトサブトラクションステップを用いる。

実験結果

リサーチクエスチョン

• RQ1 零ノルム正則化付き二次的最適化問題に球面制約を課した場合、指数1/2のKurdyka-Łojasiewicz (KL) 性質を満たすか？
• RQ2 非凸的かつ非滑らかであるこの問題に対して、グローバルかつ線形収束を達成するプロキシマル勾配法を設計できるか？
• RQ3 提案されたPGMは、合成データおよび実世界データを用いたスパースPCAタスクにおいて実際の性能をどのように発揮するか？
• RQ4 提案手法の線形収束率の理論的根拠は何か？

主な発見

• 零ノルム正則化付き二次的最適化問題に球面制約を課した場合、拡張値目的関数は指数1/2のKL性質を満たす。
• 提案されたプロキシマル勾配法 (PGM) は、確立されたKL条件のもとでグローバル収束を達成し、線形収束率を示す。
• 合成データおよび実データを用いた数値実験により、線形収束率の妥当性とスパースPCAにおける手法の有効性が確認された。
• この手法はスパース主成分を効果的に同定でき、次元削減および特徴選択の分野での実用的有用性を示した。