[論文レビュー] Newton Method for Sparse Logistic Regression: Quadratic Convergence and Extensive Simulations

Rui Wang, Naihua Xiu+1 more|arXiv (Cornell University)|Jan 9, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用数 4

ひとこと要約

本稿では、スパarsity制約付きロジスティック回帰に対するニュートン法を提案し、τ-停留点を用いて1次最適性条件を確立し、ニュートン反復によってそれを効率的に解く。この手法は、低コストな計算量でグローバルかつ2次収束を達成し、合成データおよび実世界のデータにおける数値実験で7つの最先端ソルバーを上回る性能を示した。

ABSTRACT

Sparse logistic regression, {as an effective tool of classification,} has been developed tremendously in recent two decades, from its origination the $\ell_1$-regularized version to the sparsity constrained models. This paper is carried out on the sparsity constrained logistic regression by the Newton method. We begin with establishing its first-order optimality condition associated with a $ au$-stationary point. This point can be equivalently interpreted as an equation system which is then efficiently solved by the Newton method. The method has a considerably low computational complexity and enjoys global and quadratic convergence properties. Numerical experiments on random and real data demonstrate its superior performance when against seven state-of-the-art solvers.

研究の動機と目的

• 高次元分類における重要なツールであるスパarsity制約付きロジスティック回帰のための効率的な最適化手法を開発すること。
• τ-停留点を用いてスパarsity制約付き問題の1次最適性条件を確立すること。
• 低計算量で効率的に最適性条件を解けるニュートンに基づくアルゴリズムを設計すること。
• 合成データおよび実世界のデータの両方で、既存の最先端ソルバーに対する本手法の優位性を示すこと。
• 提示された定式化のもとで、提案アルゴリズムのグローバルかつ2次収束を証明すること。

提案手法

• 本手法は、スパarsity制約付きロジスティック回帰問題をτ-停留点条件を用いて定式化し、これが1次最適性基準として機能する。
• τ-停留点条件は、ニュートン法で解ける方程式系に再定式化される。
• この方程式系にニュートン反復を適用し、2次情報を利用することで高速収束を達成する。
• ヘッシアンと勾配計算におけるスパarsityを活用することで、計算量を低く保つようにアルゴリズムが設計されている。
• ラインサーチ戦略によりグローバル収束が保証され、解の周辺では2次収束が達成される。
• 性能評価のため、ランダムおよび実世界のデータセット上に本手法を実装・テストした。

実験結果

リサーチクエスチョン

• RQ1 スパarsity制約付きロジスティック回帰に、収束性が保証されるニュートン法を効果的に適用できるか？
• RQ2 本手法は、スパース分類タスクにおいて7つの最先端ソルバーと比較して、性能で優れているか？
• RQ3 既存手法と比較して、ニュートンに基づくアプローチの計算量はどの程度か？
• RQ4 本手法は、実際にこの種の問題に対してグローバルかつ2次収束を達成するか？
• RQ5 τ-停留点条件は、スパースなロジスティック回帰の信頼性があり、解ける最適性条件として適切か？

主な発見

• 提案されたニュートン法は、スパarsity制約付きロジスティック回帰に対してグローバルかつ2次収束を達成する。
• スパarsityの活用により、標準的手法と比較して著しく低い計算量を実現する。
• ランダムデータおよび実世界のデータの両方で、解の品質と収束速度の両面で7つの最先端ソルバーを上回る性能を示した。
• τ-停留点条件は、問題の1次最適性条件の同等で解ける再定式化を提供する。
• 数値実験により、本手法のロバストネスと効率性が多様なデータ設定で確認された。
• 特に高次元スパース設定において、高い精度を維持しながら高速収束を達成した。