[論文レビュー] Proximal Quasi-Newton for Computationally Intensive L1-regularized M-estimators

Kai Zhong, En-Hsu Yen+2 more|arXiv (Cornell University)|Jun 27, 2014

Machine Learning and Algorithms参考文献 26被引用数 15

ひとこと要約

本稿では、特に条件付きランダムフィールド（CRFs）において、計算コストの高い$μat$-正則化M推定量を最適化するための、能動的集合選択を積極的に行う近位準ニュートン法を提案する。強凸性を仮定しない状況でも、定数核空間強凸性（CNSC）を活用することで、理論的に超線形収束を達成し、順序付けタグ付けおよび階層的分類タスクにおいて最先端手法を上回る性能を示す。

ABSTRACT

We consider the class of optimization problems arising from computationally intensive L1-regularized M-estimators, where the function or gradient values are very expensive to compute. A particular instance of interest is the L1-regularized MLE for learning Conditional Random Fields (CRFs), which are a popular class of statistical models for varied structured prediction problems such as sequence labeling, alignment, and classification with label taxonomy. L1-regularized MLEs for CRFs are particularly expensive to optimize since computing the gradient values requires an expensive inference step. In this work, we propose the use of a carefully constructed proximal quasi-Newton algorithm for such computationally intensive M-estimation problems, where we employ an aggressive active set selection technique. In a key contribution of the paper, we show that the proximal quasi-Newton method is provably super-linearly convergent, even in the absence of strong convexity, by leveraging a restricted variant of strong convexity. In our experiments, the proposed algorithm converges considerably faster than current state-of-the-art on the problems of sequence labeling and hierarchical classification.

研究の動機と目的

• 計算コストの高い$μat$-正則化M推定量の最適化に直面する課題に対処すること、特にCRFsにおいて勾配評価が高価である状況を想定する。
• 反復解のスパarsityを維持し、能動的集合選択による勾配評価コストを低減する近位準ニュートン法の開発。
• 強凸性を仮定しないProx-QNの理論的超線形収束の確立。これは、高次元または冗長特徴設定ではしばしば成立しない。
• 順序付けタグ付けおよび階層的分類タスクにおいて、最先端手法と比較して収束速度とスパarsityの両面で優れた性能を実証すること。

提案手法

• 本手法は、L-BFGS更新を用いて目的関数の二次近似を構築する近位準ニュートンフレームワークを採用し、ヘシアン行列の計算を削減しつつ、2次最適化を実現する。
• 能動的集合選択（スリーピング戦略）を積極的に適用し、エポックごとに作業集合を段階的に縮小。これにより、活性変数の部分勾配のみを評価し、時間計算量を$O(d)$から$O(nnz)$に削減する。
• L-BFGS更新をスリーピング手順に適応させ、変数集合の縮小に対しても精度を保つ。収束の安定性を確保する。
• データと反復解を特徴インデックス構造に格納し、データのスパarsityと反復解のスパarsityの両方を活用。メモリと計算のオーバーヘッドを最小限に抑える。
• 非ゼロ変数のみを更新することで、中間反復解のスパarsityを維持。最適解のスパarsityと整合性を保つ。
• 収束解析は、典型的なM推定量（$μat$-正則化CRF MLEを含む）に成立する制限付き強凸性条件、すなわち定数核空間強凸性（CNSC）に基づく。

実験結果

リサーチクエスチョン

• RQ1 強凸性を仮定しない状況でも、$μat$-正則化M推定量に対して近位準ニュートン法が超線形収束を達成できるか？
• RQ2 計算コストの高い状況において、能動的集合選択をどのように積極的に適用することで勾配評価コストを低減できるか？
• RQ3 作業集合の激しい縮小下でも、L-BFGS更新をどのように適応させれば精度を維持できるか？
• RQ4 提案手法は、CRFを用いた順序付けタグ付けおよび階層的分類タスクにおいて、収束速度とスパarsityの両面で最先端手法を上回るか？
• RQ5 定数核空間強凸性（CNSC）は、非強凸設定において超線形収束の十分条件となるか？

主な発見

• 提案手法であるProx-QNは、順序付けタグ付けおよび階層的分類タスクにおいて、客観的差分および非ゼロパラメータ曲線の観点から、最先端手法よりも著しく高速に収束することが示された。
• CNSC条件の下で、強凸性を仮定しない状況でも理論的に超線形収束を達成。これは主な理論的貢献である。
• OCR順序付けタグ付けタスクでは、SGDおよびBCDと比較して、より少ない非ゼロパラメータ数とより低い目的関数値に、より速く到達した。
• 1億2100万パラメータを有する階層的分類タスクでは、高いスパarsityと高速な収束を達成。目的関数の低減とスパarsityの両面でSGDおよびBCDを上回った。
• 能動的集合戦略により、1反復あたりの勾配評価コストが$O(nnz)$にまで低減され、高次元パrameter空間でも効率的な計算が可能となった。
• テスト精度を高い水準（例：OCRでは$\lambda=100$、階層的分類では$\lambda=1$）で維持しながら、解の最適スパarsityを達成した。