[論文レビュー] On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression

Shummin Nakayama, Jun‐ya Gotoh|arXiv (Cornell University)|Jul 2, 2020

Sparse and Compressive Sensing Techniques参考文献 23被引用数 11

ひとこと要約

この論文は、GIST や GPALM を含むプロキシマル勾配法（PGM）が、アルゴリズムの修正なしに非滑らかで非凸なスパース回帰において d-停留点に収束することを確立しており、解の品質と計算時間の両面でプロキシマル DC アルゴリズム（PDCAs）を上回っている。著者らは、PGM が標準的な PDCAs よりも強い最適性条件を達成することを証明し、GIST が特に大きなペナルティパラメータ下でも一貫して PDCAs の変種を上回ることを実験的に示している。

ABSTRACT

This paper conducts a comparative study of proximal gradient methods (PGMs) and proximal DC algorithms (PDCAs) for sparse regression problems which can be cast as Difference-of-two-Convex-functions (DC) optimization problems. It has been shown that for DC optimization problems, both General Iterative Shrinkage and Thresholding algorithm (GIST), a modified version of PGM, and PDCA converge to critical points. Recently some enhanced versions of PDCAs are shown to converge to d-stationary points, which are stronger necessary condition for local optimality than critical points. In this paper we claim that without any modification, PGMs converge to a d-stationary point not only to DC problems but also to more general nonsmooth nonconvex problems under some technical assumptions. While the convergence to d-stationary points is known for the case where the step size is small enough, the finding of this paper is valid also for extended versions such as GIST and its alternating optimization version, which is to be developed in this paper. Numerical results show that among several algorithms in the two categories, modified versions of PGM perform best among those not only in solution quality but also in computation time.

研究の動機と目的

• 非滑らかで非凸なスパース回帰問題における PGM と PDCAs の比較を目的とする。
• 標準的な PGM が、臨界点よりも強い最適性条件である d-停留点に収束することを確立すること。
• 変数選択と外れ値検出を同時に実行するスパースロバスト回帰への正確なペナルティ定式化の拡張。
• 収束性と性能の向上を目的とした PALM の非単調版である GPALM の開発と分析。
• ペナルティパラメータの変動に応じた解の品質、計算時間、および頑健性の観点からのアルゴリズム性能の実験的評価。

提案手法

• 技術的仮定の下で、一般の非滑らかで非凸問題に対して PGM が d-停留点に収束することを証明し、DC 特有のケースにとどまらない拡張を実現する。
• 非単調ラインサーチと大きなステップサイズを用いた PGM 変種（例：GIST）を導入し、収束性と効率性を向上させる。
• 正確なペナルティ表現を用いて、回帰における変数選択と外れ値検出を統合する。
• 非滑らかで非凸な正則化子に対してプロキシマル作用素を用い、部分微分と方向微分の条件を用いて収束性を分析する。
• GIST、GPALM、PDCA、PDCAe、NEPDCA、EPDCA を、ペナルティパラメータを変化させた複数のスパース回帰ベンチマークで比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な PGM は、DC 問題に限らず、一般の非滑らかで非凸最適化問題において d-停留点に収束するか？
• RQ2 GIST や GPALM などの PGM 基盤の手法は、PDCA 基盤の手法と比較して、解の品質と収束速度の両面で優れているか？
• RQ3 PDCAs の性能は大きなペナルティパラメータ下で劣化するか？その理由は何か？
• RQ4 正確なペナルティ定式化は、同時に変数選択と外れ値検出を実行するスパースロバスト回帰へ拡張可能か？
• RQ5 PDCAs において、より強い最適性条件（d-停留性）への収束と計算コストの間にはどのようなトレードオフがあるか？

主な発見

• GIST や GPALM を含む PGM は、アルゴリズムの修正なしに d-停留点に収束し、臨界点よりも強い最適性条件を満たす。
• GIST は、すべてのテスト問題において、解の品質と計算時間の両面で他のすべてのアルゴリズムを上回っている。
• PDCA 基盤の手法は、ソフトスレッショーティングによる過剰なスパarsity が原因で、大きなペナルティパラメータ下で性能が著しく劣化し、部分的な解に収束する。
• NEPDCA は d-停留点に収束するが、組み合わせ的アクティブセット更新のため、PGM よりもはるかに長い計算時間を要する。
• GPALM はスパースロバスト回帰において d-停留性への収束を達成し、理論的結果をより広い問題クラスへ拡張した。
• 数値実験の結果、PGM は特にペナルティパラメータが大きい場合に、PDCAs よりも頑健で効率的であることが示された。