[論文レビュー] A Quasi-Newton Approach to Nonsmooth Convex Optimization

Jin Yu, S. V. N. Vishwanathan+2 more|arXiv (Cornell University)|Apr 24, 2008

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

この論文は、BFGSおよびLBFGS準ニュートン法を、部分微分を用いて局所的二次近似モデル、降下方向の特定、Wolfeのラインサーチといった主要な要素を一般化することで、非滑らか凸最適化に拡張する。提案されたsubBFGSアルゴリズムは目的関数値におけるグローバル収束を保証し、L2正則化付きヒンジ損失およびL1正則化付きロジスティック損失問題において最先端のソルバーより優れた性能を示す。

ABSTRACT

We extend the well-known BFGS quasi-Newton method and its memory-limited variant LBFGS to the optimization of nonsmooth convex objectives. This is done in a rigorous fashion by generalizing three components of BFGS to subdifferentials: the local quadratic model, the identification of a descent direction, and the Wolfe line search conditions. We prove that under some technical conditions, the resulting subBFGS algorithm is globally convergent in objective function value. We apply its memory-limited variant (subLBFGS) to L2-regularized risk minimization with the binary hinge loss. To extend our algorithm to the multiclass and multilabel settings, we develop a new, efficient, exact line search algorithm. We prove its worst-case time complexity bounds, and show that our line search can also be used to extend a recently developed bundle method to the multiclass and multilabel settings. We also apply the direction-finding component of our algorithm to L1-regularized risk minimization with logistic loss. In all these contexts our methods perform comparable to or better than specialized state-of-the-art solvers on a number of publicly available data sets. An open source implementation of our algorithms is freely available.

研究の動機と目的

• 非滑らか凸最適化のための効果的でない準ニュートン法の欠如に取り組むこと、特に大規模な学習設定において。
• BFGSおよびLBFGSフレームワークを、勾配の代わりに部分微分を用いて非滑らか目的関数を扱えるように一般化すること。
• マルチクラスおよびマルチラベル拡張に適した、効率的かつ正確なラインサーチアルゴリズムの開発。
• L1正則化付きロジスティック損失問題への方向探索部の適用を可能にし、専用ソルバーより同等または優れた性能を達成すること。
• 再現性および実用的導入を支援するためのオープンソース実装の提供。

提案手法

• 勾配の代わりに部分微分を用いて、BFGSにおける局所的二次近似モデルを非滑らか目的関数に一般化する。
• 降下方向の特定ステップを部分勾配に適応させ、目的関数の十分な減少を保証する。
• 曲率条件を部分微分に基づくものに拡張し、Wolfeのラインサーチ条件を維持する。
• 大規模問題向けにメモリ制限付きのバリアントとしてsubLBFGSを提案し、Hessianの近似に最近の更新履歴を数個のみ保存する。
• マルチクラスおよびマルチラベル問題に特化した新しい正確なラインサーチアルゴリズムを設計し、最悪計算量の境界が保証されている。
• 方向探索部をL1正則化付きロジスティック損失最小化に統合し、同じ部分微分フレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 BFGSフレームワークは、部分微分を用いて非滑らか凸目的関数に厳密に拡張可能か？
• RQ2 目的関数値の観点で、得られるsubBFGSアルゴリズムのグローバル収束を保証する条件は何か？
• RQ3 部分微分に基づくフレームワークを用いて、マルチクラスおよびマルチラベル設定で効率的かつ正確なラインサーチを達成するにはどうすればよいか？
• RQ4 提案手法は、非滑らか損失を伴う実世界の学習問題において、専用の最先端ソルバーより優れた性能を示せるか？
• RQ5 マルチクラスおよびマルチラベル設定における、提案された正確なラインサーチアルゴリズムの最悪ケース時間計算量は何か？

主な発見

• 適切な技術的条件の下で、subBFGSアルゴリズムは目的関数値においてグローバル収束を示し、BFGSの収束保証を非滑らか設定に拡張する。
• subLBFGSは、複数の公開データセットにおけるL2正則化付きリスク最小化（バイナリヒンジ損失）において、最先端のソルバーより同等または優れた性能を達成する。
• マルチクラスおよびマルチラベル問題向けに提案された正確なラインサーチアルゴリズムは、最悪ケース時間計算量が有界であり、バンドル法のこれらの設定への拡張を可能にする。
• アルゴリズムの方向探索部は、L1正則化付きロジスティック損失最小化に有効であり、専用ソルバーより同等または優れた性能を達成する。
• アルゴリズムのオープンソース実装が公開されており、再現性および実世界への導入を容易にする。
• 実験的結果は、非滑らか損失を伴うバイナリ分類およびマルチクラス／マルチラベル分類の多様な学習タスクにおいて、堅牢な性能を示している。