[論文レビュー] Optimization over Sparse Symmetric Sets via a Nonmonotone Projected Gradient Method

Zhaosong Lu|arXiv (Cornell University)|Sep 29, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 13

ひとこと要約

本稿では、対称集合上でのスパース最適化のための非単調プロジェクテッド勾配（NPG）法を提案する。変数ステップサイズと、サポート変更および座標交換戦略を統合し、より強い最適性条件を導入。L-停留性よりも強い最適性条件を定義し、NPGの任意の蓄積点がこの条件を満たし、座標ごとの最小化点であることを証明。数値結果により、古典的PG法と比較して優れた解の品質と競争力のある速度を示した。

ABSTRACT

We consider the problem of minimizing a Lipschitz differentiable function over a class of sparse symmetric sets that has wide applications in engineering and science. For this problem, it is known that any accumulation point of the classical projected gradient (PG) method with a constant stepsize $1/L$ satisfies the $L$-stationarity optimality condition that was introduced in [3]. In this paper we introduce a new optimality condition that is stronger than the $L$-stationarity optimality condition. We also propose a nonmonotone projected gradient (NPG) method for this problem by incorporating some support-changing and coordintate-swapping strategies into a projected gradient method with variable stepsizes. It is shown that any accumulation point of NPG satisfies the new optimality condition and moreover it is a coordinatewise stationary point. Under some suitable assumptions, we further show that it is a global or a local minimizer of the problem. Numerical experiments are conducted to compare the performance of PG and NPG. The computational results demonstrate that NPG has substantially better solution quality than PG, and moreover, it is at least comparable to, but sometimes can be much faster than PG in terms of speed.

研究の動機と目的

• 非凸な実行可能集合を有する対称集合上でのスパース最適化問題において、古典的プロジェクテッド勾配（PG）法が最適でない点に収束する可能性があるという限界を解消すること。
• 先行研究で導入されたL-停留性条件よりも強い最適性条件を新たに開発し、より良い収束保証を実現すること。
• 変数ステップサイズ、サポート変更および座標交換戦略を統合した非単調プロジェクテッド勾配（NPG）法を提案し、解の品質と収束特性を向上させること。
• 理論的により強い最適性条件への収束を確立し、基数制約付き問題における数値実験を通じて性能向上を示すこと。
• NPG法がPG法と比較して、特に大規模設定において、計算速度を維持または向上させながら顕著に優れた目的関数値を達成できることを示すこと。

提案手法

• NPG法は変数ステップサイズを採用し、収束のロバスト性を向上させるために非単調ラインサーチ戦略を統合する。
• 悪い局所解から脱出するため、サポート変更および座標交換メカニズムを統合する。
• 特定の対称凸集合 $\Omega$ に対して、効率的に計算可能な $\mathcal{C}_s \cap \Omega$ への直交プロジェクションを用いる。
• 新たな最適性条件として、すべての $t \in [0, T]$ に対して $x^* = \text{Proj}_{\mathcal{C}_s \cap \Omega}(x^* - t\nabla f(x^*))$ を要求する条件を導入し、これはL-停留性よりも強いものである。
• アルゴリズムは、任意の蓄積点がこの新しい条件を満たし、したがって座標ごとの停留点であることを保証する。
• 理論的分析により、適切な仮定の下で、このような点が問題のグローバルまたはローカル最小化点であることが証明される。

実験結果

リサーチクエスチョン

• RQ1 スパース対称最適化において、L-停留性よりも強い最適性条件に収束するプロジェクテッド勾配法を設計できるか？
• RQ2 サポート変更および座標交換戦略は、非凸スパース最適化における解の品質をどのように向上させるか？
• RQ3 変数ステップサイズを用いた非単調ラインサーチ戦略は、定数ステップサイズPG法に比べ、目的関数値と収束速度の面で優れているか？
• RQ4 提案されたNPG法は、実行可能集合が非凸であっても、弱い仮定の下でグローバルまたはローカル最適性に収束できるか？
• RQ5 大規模スパース最適化問題において、NPG法は古典的PG法と比較して、解の品質と計算効率の面で優れているか？

主な発見

• NPG法は、ロジスティック損失および最小二乗損失問題の両方において、PG法よりも顕著に優れた目的関数値を達成し、目的関数値の改善が最大28％に達する（例：n=10000の場合、3284.9 vs. 3008.6）。
• CPU時間において、NPG法はPG法を大幅に上回り、最大インスタンス（n=10000）では7000秒以上かかっていた時間を13秒未満に削減し、500倍以上の高速化を達成した。
• 非負単体上での最小二乗損失において、NPG法は目的関数値を60％削減（例：n=5000の場合、1961.5 vs. 772.0）し、わずかに長い時間（2.24秒 vs. 1.25秒）を要した。
• NPG法は、L-停留性よりも強い最適性条件を満たす点に収束し、任意の蓄積点が座標ごとの停留点であることを保証する。
• 数値結果により、NPG法はPG法と同等か、しばしばより高速であり、すべてのテスト問題インスタンスで一貫して優れた解を生成することが確認された。
• 理論的分析により、適切な仮定の下で、NPGの蓄積点がグローバルまたはローカル最小化点であることが確認され、本手法の高品質な解への収束が裏付けられた。