[論文レビュー] A General Iterative Shrinkage and Thresholding Algorithm for Non-convex Regularized Optimization Problems

Pinghua Gong, Changshui Zhang+3 more|arXiv (Cornell University)|Mar 18, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用数 111

ひとこと要約

本稿では、広範な非凸ペナルティ関数に適用可能な非凸正則化最適化問題を解くための一般化反復縮小・しきい値処理（GIST）アルゴリズムを提案する。閉形式の近位演算子とBarzilai-Borwein法で初期化されたラインサーチを活用することで、GISTは大規模なスパース学習問題を効率的に処理し、高速な収束性と実世界のデータセットにおける優れた実験的性能を達成する。

ABSTRACT

Non-convex sparsity-inducing penalties have recently received considerable attentions in sparse learning. Recent theoretical investigations have demonstrated their superiority over the convex counterparts in several sparse learning settings. However, solving the non-convex optimization problems associated with non-convex penalties remains a big challenge. A commonly used approach is the Multi-Stage (MS) convex relaxation (or DC programming), which relaxes the original non-convex problem to a sequence of convex problems. This approach is usually not very practical for large-scale problems because its computational cost is a multiple of solving a single convex problem. In this paper, we propose a General Iterative Shrinkage and Thresholding (GIST) algorithm to solve the nonconvex optimization problem for a large class of non-convex penalties. The GIST algorithm iteratively solves a proximal operator problem, which in turn has a closed-form solution for many commonly used penalties. At each outer iteration of the algorithm, we use a line search initialized by the Barzilai-Borwein (BB) rule that allows finding an appropriate step size quickly. The paper also presents a detailed convergence analysis of the GIST algorithm. The efficiency of the proposed algorithm is demonstrated by extensive experiments on large-scale data sets.

研究の動機と目的

• スパース学習における非凸ペナルティを伴う大規模非凸最適化問題を解く挑戦に取り組む。
• 大規模データセットに対して計算コストが高くなる既存のマルチステージ凸緩和法やDCプログラミング法の限界を克服する。
• SCAD、MCP、LSP、capped-ℓ₁を含む、広範な非凸ペナルティ関数に適用可能な汎用アルゴリズムを開発する。
• Barzilai-Borwein則と非単調ラインサーチを用いて、効率的なステップサイズ選択により高速収束を実現する。
• 損失関数と正則化関数に関する標準的仮定の下で、提案アルゴリズムの厳密な収束解析を提供する。

提案手法

• 滑らかでリプシッツ連続微分可能な損失関数と、2つの凸関数の差として表される非凸正則化関数の和を最小化する最適化問題に定式化する。
• 各部分問題が損失関数の二次近似とスケーリングされた正則化項の和を最小化する反復的近位スキームを適用する。
• 一般的な非凸ペナルティ関数（例：ℓ₁、LSP、SCAD、MCP、capped-ℓ₁）の近位演算子に対して閉形式解を用い、更新を効率化する。
• 収束を加速するために、ステップサイズをBarzilai-Borwein則で初期化する。
• さらに収束速度とロバスト性を向上させるために、非単調ラインサーチ基準を採用する。
• 目的関数に関する標準的仮定の下で、グローバル収束を証明することで、臨界点への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 広範なペナルティ関数クラスにわたって、非凸正則化最適化問題を効率的に解くための汎用的反復アルゴリズムを設計できるか？
• RQ2 既存の手法（マルチステージ凸緩和法やDCプログラミング）と比較して、提案されたGISTアルゴリズムの収束速度とスケーラビリティはどのように異なるか？
• RQ3 Barzilai-Borwein初期化と非単調ラインサーチの使用が、アルゴリズムの収束特性に与える影響は何か？
• RQ4 標準的仮定の下で、GISTアルゴリズムは臨界点に収束するのか？その理論的根拠は何か？
• RQ5 GISTは、最先端の手法と比較して、実世界の大規模スパース学習問題においてどの程度の性能を示すか？

主な発見

• GISTアルゴリズムは、閉形式の近位更新とBarzilai-Borweinステップサイズ初期化を組み合わせることで、大規模データセットにおいて高速な収束を達成する。
• アルゴリズムはSCAD、MCP、LSP、capped-ℓ₁を含む広範な非凸ペナルティ関数に適用可能であり、それぞれ明示的な閉形式解が導出されている。
• 実世界のデータセットを用いた広範な実験により、GISTが収束速度と解の品質の両面で既存手法を上回ることが示された。
• 収束解析により、標準的仮定の下でGISTが臨界点に収束することが証明され、理論的保証が得られた。
• 非単調ラインサーチの使用により、安定性や解の正確性を損なわず、収束がさらに加速された。
• アルゴリズムは大規模スパース学習タスクにスケーラブルかつ実用的であり、従来のDCプログラミング手法の計算的限界を克服した。