[論文レビュー] The proximal distance algorithm

Kenneth Lange, Kevin L. Keys|arXiv (Cornell University)|Jul 27, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用数 11

ひとこと要約

本稿では、非線形かつ非凸なプログラミング問題を解くために、正確なペナルティ法と距離マジョライゼーションを組み合わせたMM（マジョライゼーション・ミニマイゼーション）原理に基づく新しい最適化手法、proximal distanceアルゴリズムを提案する。この手法は、明確に理解されたツール（例えば、プロキシマル写像やユークリッド射影）を活用しており、$γ_{0}$回帰、行列補完、逆スパース共分散推定といった高次元設定において優れた性能を示しており、glassoなどの既存手法と比較して収束性と解の精度が優れていることが実験的に示されている。

ABSTRACT

The MM principle is a device for creating optimization algorithms satisfying the ascent or descent property. The current survey emphasizes the role of the MM principle in nonlinear programming. For smooth functions, one can construct an adaptive interior point method based on scaled Bregmann barriers. This algorithm does not follow the central path. For convex programming subject to nonsmooth constraints, one can combine an exact penalty method with distance majorization to create versatile algorithms that are effective even in discrete optimization. These proximal distance algorithms are highly modular and reduce to set projections and proximal mappings, both very well-understood techniques in optimization. We illustrate the possibilities in linear programming, binary piecewise-linear programming, nonnegative quadratic programming, $\ell_0$ regression, matrix completion, and inverse sparse covariance estimation.

研究の動機と目的

• 非線形および非凸プログラミング問題向けのモジュラーかつ多用途の最適化フレームワークの開発。
• 離散的かつ非滑らか最適化の課題に、正確なペナルティ法と距離マジョライゼーションを組み合わせることで対処。
• 高次元統計的問題、特に$γ_{0}$回帰やスパース共分散推定において、収束性と解の精度の向上。
• 中央路線に依存しない、計算的に安定な内点法やパスフォローリング手法の代替手法の提供。
• 行列補完やバイナリ分離線形プログラミングを含む多様な応用分野における手法の有効性の実証。

提案手法

• アルゴリズムはMM原理を用いて、目的関数をマジョライズする補助関数を構築し、降下性と収束性を保証する。
• ユークリッド距離を実行可能集合への距離として近似するために距離マジョライゼーションを適用し、制約下での効率的最適化を可能にする。
• 非滑らかで非凸な制約を扱うために、正確なペナルティ関数とプロキシマル写像、ユークリッド射影を組み合わせる。
• 凸プログラミングにおいて中央路線を追わないように、スケーリングされたブレグマンバリアを用いた適応的バリア法を採用する。
• 主にマジョライゼーションから導出された補助関数の最小化に基づく反復更新によってアルゴリズムを実装し、ペナルティ強度と近似精度を制御する調整パrameter $ρ$ と $\epsilon$ を用いる。
• コアとなる構成要素には、計算的に扱いやすく最適化理論でもよく知られたプロキシマル写像と射影が含まれる。

実験結果

リサーチクエスチョン

• RQ1 距離マジョライゼーションを用いることで、MM原理を非凸的かつ非滑らか最適化問題に効果的に拡張できるか？
• RQ2 スパース共分散推定において、glassoなどの既存手法と比較して、proximal distanceアルゴリズムの解の精度と収束速度はどのように異なるか？
• RQ3 調整パrameter $ρ$ と $\epsilon$ は、アルゴリズムの安定性と性能にどのような役割を果たすか？
• RQ4 従来の内点法と比較して、どのような状況で本手法が優位に働くか、あるいは劣位に働くか？
• RQ5 本手法は、最小限の変更で多様な統計的および機械学習問題を扱えるように一般化可能か？

主な発見

• 逆スパース共分散推定において、$p=512$ 時にglassoパッケージと比較して平均損失が低く抑えられ、本手法では平均損失が -641.89 であったのに対し、glassoはより高い損失を示した。
• $p=512$ 時に、MMアルゴリズムは平均で636.4個の真の非ゼロ要素のうち566.8個を回復したが、glassoは304.2個にとどまった。
• 問題の次元が増加するにつれて性能が向上し、計算時間比 $T_1/T_2$ が $p=8$ のとき43.458から $p=512$ 時の5.679に減少した。これは、スケーラビリティに優れていることを示している。
• 特に$γ_{0}$回帰や行列補完において、高次元設定でも収束性と安定性に優れ、標準的手法を上回る性能を示した。
• 多くの設定で優れた性能を発揮している一方で、線形プログラミングでは適切に調整しないと不安定な挙動を示すことが判明し、特定の問題クラスにおける制限が浮き彫りになった。
• ブレグマンバリアに適応的スケーリングを適用することで、中央路線を追わないままも、実行可能解への収束を達成できた。