[論文レビュー] Efficient evaluation of scaled proximal operators

Michael P. Friedlander, Gabriel Goh|arXiv (Cornell University)|Mar 17, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 14

ひとこと要約

本稿では、二次的サポート（QS）関数のスケーリングされた近位作用素を計算するための効率的な内点法を提示する。この手法により、非滑らか凸最適化問題の高速解法が可能になる。問題の構造を活用し、Sherman-Woodburyの公式を用いることで、ほぼ線形時間の計算が達成され、スパース最適化、画像ノイズ除去、ロジスティック回帰における近位準ニュートン法の高速化が顕著に向上する。

ABSTRACT

Quadratic-support functions [Aravkin, Burke, and Pillonetto; J. Mach. Learn. Res. 14(1), 2013] constitute a parametric family of convex functions that includes a range of useful regularization terms found in applications of convex optimization. We show how an interior method can be used to efficiently compute the proximal operator of a quadratic-support function under different metrics. When the metric and the function have the right structure, the proximal map can be computed with cost nearly linear in the input size. We describe how to use this approach to implement quasi-Newton methods for a rich class of nonsmooth problems that arise, for example, in sparse optimization, image denoising, and sparse logistic regression.

研究の動機と目的

• 近位準ニュートン法における計算ボトル neck を解消するため、高価な近位作用素評価の計算コストを低減すること。
• 一般の計量下での二次的サポート関数の近位作用素を効率的に計算するアルゴリズムの開発。
• 機械学習および信号処理に生じる大規模な非滑らか凸最適化問題のスケーラブルな解法の実現。
• スパarsity や錐制約などの問題固有の構造を活用し、入力サイズに対してほぼ線形時間の計算複雑度を達成すること。
• スパース最適化、全変動ノイズ除去、スパースロジスティック回帰における実用的性能向上の実証。

提案手法

• 近位作用素の双対問題を解くために内点法を用い、近位作用素の計算を凸二次計画問題に再定式化する。
• 内点法で生じる対称KKTシステムを、ヘッセ行列近似の低ランク構造を活用して、Sherman-Woodburyの公式を用いて効率的に解く。
• 計量とQS関数が互換性を持つ場合に、問題構造を保つ双対化戦略を採用し、効率的な解法を実現する。
• 変動するヘッセ行列近似を用いて収束を改善する近位準ニュートンフレームワークに、近位作用素ソルバを統合する。
• 解析的中心予測子と補正子を用いたプライマル・デュアルパスフォローワー方式を採用し、妥当性を維持するとともに、超線形収束を達成する。
• 反復ソルバの性能向上を図るため、ウォームスタート戦略と適応的精度制御を実装する。

実験結果

リサーチクエスチョン

• RQ1 一般の正定値計量下で、二次的サポート関数の近位作用素を効率的に計算できるか。
• RQ2 どのような計算技術が構造的QS関数に対するほぼ線形時間の近位作用素評価を可能にするか。
• RQ3 スパース最適化問題において、提案された内点法は、既存のソルバーよりも収束速度と精度で優れているか。
• RQ4 この手法は、大規模問題における収束加速を実現するために、近位準ニュートン法に効果的に統合可能か。
• RQ5 数値的安定性は、近位作用素用内点ソルバーにおいてどのような役割を果たし、どのように向上できるか。

主な発見

• 問題構造が有利な場合（例：グループLassoや全変動問題）、提案された内点法は、二次的サポート関数の近位作用素をほぼ線形時間で計算可能である。
• 1次元全変動ノイズ除去において、メモリサイズ10のQSipソルバは、Barzilai-Borwein近位ソルバーよりも収束速度と精度で優れた性能を示した。
• Epsilonデータセット（400Kの観測値）において、QSipを用いた近位準ニュートン法は、すべての精度水準でBarzilai-BorweinおよびnewGLMNetを上回る速度を達成した。
• Gisetteデータセット（13.5Kの観測値）においては、Barzilai-BorweinおよびnewGLMNetが準ニュートンアプローチを上回った。これは、問題依存の性能差を示している。
• Sherman-Woodburyの公式を用いた内点ソルバーにおいて、悪条件性のため数値的不安定性が観察された。これにより、より安定な代替手法の必要性が示唆された。
• 理想的なプリコンディショナを用いたKrylov法（例：MINRES）は、正確算術下で3反復で収束した。これは、さらなる高速化の可能性を示している。