[論文レビュー] A Second-Order Method for Convex $\ell_1$-Regularized Optimization with Active Set Prediction

Nitish Shirish Keskar, Jorge Nocedal+2 more|arXiv (Cornell University)|May 16, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、凸関数 $φ(x) = f(x) + \mu\|x\|_1$ の最適化に対して、2次精度のアクティブセット法を提案する。この手法は、アクティブセットの予測と不正確な部分空間最小化を統合することで収束性とロバスト性を向上させる。機械学習データセットにおいて LIBLINEAR と同等の性能を達成し、線形収束を示し、直交錐面予測と是正サイクルによってスパース性を効果的に促進する。

ABSTRACT

We describe an active-set method for the minimization of an objective function $ϕ$ that is the sum of a smooth convex function and an $\ell_1$-regularization term. A distinctive feature of the method is the way in which active-set identification and {second-order} subspace minimization steps are integrated to combine the predictive power of the two approaches. At every iteration, the algorithm selects a candidate set of free and fixed variables, performs an (inexact) subspace phase, and then assesses the quality of the new active set. If it is not judged to be acceptable, then the set of free variables is restricted and a new active-set prediction is made. We establish global convergence for our approach, and compare the new method against the state-of-the-art code LIBLINEAR.

研究の動機と目的

• 大規模な $φ(x) = f(x) + \mu\|x\|_1$ 問題に対して、改善されたアクティブセット予測を備えたグローバルに収束する2次精度法の開発。
• 既存手法の限界（正確な部分問題解法の高コストおよび不良なアクティブセット選択）を是正サイクルと適応フィルタリングを統合することで克服。
• LIBLINEAR などの最先端コードと同等の性能を達成しながら、理論的収束保証を維持すること。
• 対角優位性がアルゴリズムの性能に与える影響を調査すること。特に、Proximal Newton 法と比較しての影響を検討。

提案手法

• アルゴリズムは、各反復で1次および2次情報の組み合わせを用いて、解が存在すると予測される直交錐面を特定する再帰的アクティブセット選択機構を採用する。
• 各反復で、候補となるアクティブセットが形成され、滑らかな二次モデル $\bar{q}^k(x) = f(x^k) + (x-x^k)^T\nabla f(x^k) + \frac{1}{2}(x-x^k)^T\nabla^2f(x^k)(x-x^k) + \mu\zeta^T x$ を用いて、予測された直交錐面上での不正確な部分空間最小化が実行される。
• 是正サイクルが採用されている：予測されたアクティブセットが信頼できないと判断された場合、自由変数の集合が制限され、再び予測がなされ、ロバスト性が保証される。
• グローバライゼーションは、ISTA に類似たバックアップステップにより達成され、十分な減少を保証し、強い凸性のもとでグローバル収束の証明が可能になる。
• 適応フィルタリング機構により、部分問題の正確な解法を必要とせずに、ゼロ変数の予測精度が向上する。
• Proximal Newton 法が座標降下法で非滑らかな部分問題を解くのに対し、本手法は滑らかな部分問題を直交錐面上で解くことで、非滑らかな部分問題の解法を回避する。

実験結果

リサーチクエスチョン

• RQ1 不正確な部分空間解法と是正サイクルを備えた2次精度アクティブセット法は、$φ(x) = f(x) + \mu\|x\|_1$ 問題において、LIBLINEAR と同等の CPU 時間性能を達成できるか？
• RQ2 対角優位性 $\mathcal{D}(A) = \max_i \|A_i\|_2 / \max_i |A_{ii}|$ は、本手法と Proximal Newton 法の性能にどのように影響を与えるか？
• RQ3 提案された直交錐面予測機構は、単純なアクティブセット選択戦略と比較して、収束性とスパース性生成の両面でどの程度向上をもたらすか？
• RQ4 グローバルに収束する2次精度法を設計できるか。その際、1次精度のサバイバルステップをほとんど発動せず、局所的収束速度を維持できるか？

主な発見

• 提案手法は、強い凸問題において線形収束を達成し、実用的にほとんど発動しない ISTA に類似たサバイバルステップによりグローバル収束が保証される。
• Gisette や RCV1、Alpha といった多様な機械学習データセットにおいて、C 言語で実装された LIBLINEAR と同等の性能を示す。MATLAB で実装されているにもかかわらず、その性能は顕著である。
• 本手法は、速やかにスパース解を生成し、効果的にスパース性を促進する。特に、対角優位性が高い問題（例：Synthetic, Gisette）では、LIBLINEAR よりも優れた性能を示す。
• 数値結果から、対角優位性 $\mathcal{D}$ が性能に複雑で単調でない影響を与えることが示された。低 $\mathcal{D}$ 値（例：KDDB, RCV1）では LIBLINEAR が有利である一方、高 $\mathcal{D}$ 値（例：Synthetic）では本手法が優位である。これは感受性のトレードオフを示している。
• 適応フィルタリングを用いた不正確な部分空間解法により、予測精度が維持され、計算コストが削減され、収束性に悪影響を与えることなく、効率的な是正サイクルが可能になる。
• ロバストなアクティブセット予測と2次精度部分問題解法を備えた直交錐ベース手法は、$φ(x) = f(x) + \mu\|x\|_1$ 問題に対して、Proximal Newton 法の代替として実用的であることが示された。