[論文レビュー] Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization

Qi Deng, Chenghao Lan|arXiv (Cornell University)|Sep 3, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、滑らかで、凸で、凹な項からなる非凸目的関数をもつ構造的非凸最適化問題に対する、新しい座標降下（CD）法を提案する。ランダム化座標サブグラデント、ランダムに並べ替えられたCD、加速CDに基づくプロキシマルDC、およびプロキシマルポイント法を導入し、臨界点への漸近的収束と部分線形収束レートを達成する。勾配法と比較して、悪条件問題において優れた複雑度を達成する。

ABSTRACT

Novel coordinate descent (CD) methods are proposed for minimizing nonconvex functions consisting of three terms: (i) a continuously differentiable term, (ii) a simple convex term, and (iii) a concave and continuous term. First, by extending randomized CD to nonsmooth nonconvex settings, we develop a coordinate subgradient method that randomly updates block-coordinate variables by using block composite subgradient mapping. This method converges asymptotically to critical points with proven sublinear convergence rate for certain optimality measures. Second, we develop a randomly permuted CD method with two alternating steps: linearizing the concave part and cycling through variables. We prove asymptotic convergence to critical points and sublinear complexity rate for objectives with both smooth and concave parts. Third, we extend accelerated coordinate descent (ACD) to nonsmooth and nonconvex optimization to develop a novel randomized proximal DC algorithm whereby we solve the subproblem inexactly by ACD. Convergence is guaranteed with at most a few number of ACD iterations for each DC subproblem, and convergence complexity is established for identification of some approximate critical points. Fourth, we further develop the third method to minimize certain ill-conditioned nonconvex functions: weakly convex functions with high Lipschitz constant to negative curvature ratios. We show that, under specific criteria, the ACD-based randomized method has superior complexity compared to conventional gradient methods. Finally, an empirical study on sparsity-inducing learning models demonstrates that CD methods are superior to gradient-based methods for certain large-scale problems.

研究の動機と目的

• 滑らかで、凸で、凹な項からなる非凸目的関数をもつ大規模な構造的非凸最適化問題に対する、効率的な座標降下法の開発。
• ランダム化および加速CD法を、滑らかでない非凸設定に拡張し、収束保証を付与する。
• プロキシマルDCフレームワーク内で、部分問題を近似的に解くために加速CDを用いることで、反復複雑度と実行時間を改善する。
• Lipschitz定数と負の曲率の比が高い悪条件問題において、複雑度の優位性を確立する。
• 大規模なスパース学習モデルにおいて、CD法が勾配ベースの手法を上回ることを実験的に検証する。

提案手法

• 合成サブグラデントマッピングを用いてブロック座標を更新する、ランダム化座標サブグラデント降下（RCSD）法を提案。臨界点への収束と、一般化された最適性測度における部分線形レートを達成。
• 凹項を線形化し、ブロック更新を巡回する、ランダムに並べ替えられたCD（RPCD）法を導入。特定の条件下で、漸近的収束と部分線形レートを保証。
• 差分凸（DC）フレームワーク内で、加速CDを部分問題の解法に適用することで、加速プロキシマルDC（ACPDC）アルゴリズムを構築。各部分問題に対してわずか数回のACD反復で十分。
• 弱凸関数に対して、ACDに基づくプロキシマルポイント法（ACPP）を提案。Lipschitz定数と負の曲率の比が高い場合、収束レートが速くなる。
• 強い凸性とノルムに基づく不等式を用いて収束境界を導出。目的関数の期待値の減少と再帰的誤差減衰を活用。
• 非一様サンプリングを用いたランダム化座標選択を採用。Lyapunov関数解析とステップサイズ・曲率パラメータを含む再帰的不等式を用いて収束を確立。

実験結果

リサーチクエスチョン

• RQ1 ランダム化座標降下法を、凹項を含む合成構造を持つ滑らかでない非凸問題に拡張可能か？
• RQ2 凹部分を線形化したランダムに並べ替えられたCD法が、非凸問題において部分線形収束を達成可能か？
• RQ3 加速座標降下法を、非凸最適化のDCアルゴリズムフレームワーク内での部分問題の近似解法に効果的に適用可能か？
• RQ4 ACDに基づく手法が、悪条件非凸問題において、標準的勾配法よりも優れた複雑度を達成可能か？
• RQ5 提案されたCD法が、大規模なスパース学習応用において、勾配ベースの手法を上回るか？

主な発見

• ランダム化座標サブグラデント法（RCSD）は、滑らかでない非凸設定において、臨界点への漸近的収束を達成し、一般化された最適性測度において部分線形収束レートを達成する。
• ランダムに並べ替えられたCD（RPCD）法は、凸正則化子がゼロの場合、臨界点への漸近的収束と、サブグラデントノルムにおける部分線形レートを保証する。
• ACPDCアルゴリズムは、各部分問題に対してわずか数回の加速CD反復で収束を保証し、正確なDC法やプロキシマルDC法と比較して、著しく効率性が向上する。
• Lipschitz定数と負の曲率の比が高い弱凸関数に対して、ACPP法は古典的CD法よりも優れた複雑度を達成し、複雑度境界として O(√μ₀ + ∑√Li / √μ₀) log(1/ε) を得る。
• 実験的結果から、CD法が大規模なスパース誘導学習モデルにおいて、勾長ベースの手法を上回ることを示し、優れたスケーラビリティと収束速度を示す。
• 理論的分析により、期待される目的関数ギャップがレート (1 - √μ₀ / (√μ₀ + T₁/₂))ᵏ で指数的に減少することが示され、ε-精度のための反復複雑度が O(log(1/ε)) となる。