[論文レビュー] Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning

Julien Mairal|arXiv (Cornell University)|Feb 18, 2014

Sparse and Compressive Sensing Techniques参考文献 48被引用数 21

ひとこと要約

本稿では、連続関数の和を含む大規模な機械学習問題を対象として、MISO（Incremental Surrogate Optimizationによる最小化）を提案する。これは、1次近似関数を用いたインクリメンタルな主要化最小化アルゴリズムであり、強い凸性を満たす合成目的関数に対して線形収束を達成する。非凸および凸な設定において理論的保証を備えたスケーラブルな代替手法として、確率的およびインクリメンタル手法と比較して優れた性能を示す。

ABSTRACT

Majorization-minimization algorithms consist of successively minimizing a sequence of upper bounds of the objective function. These upper bounds are tight at the current estimate, and each iteration monotonically drives the objective function downhill. Such a simple principle is widely applicable and has been very popular in various scientific fields, especially in signal processing and statistics. In this paper, we propose an incremental majorization-minimization scheme for minimizing a large sum of continuous functions, a problem of utmost importance in machine learning. We present convergence guarantees for non-convex and convex optimization when the upper bounds approximate the objective up to a smooth error; we call such upper bounds "first-order surrogate functions". More precisely, we study asymptotic stationary point guarantees for non-convex problems, and for convex ones, we provide convergence rates for the expected objective function value. We apply our scheme to composite optimization and obtain a new incremental proximal gradient algorithm with linear convergence rate for strongly convex functions. In our experiments, we show that our method is competitive with the state of the art for solving machine learning problems such as logistic regression when the number of training samples is large enough, and we demonstrate its usefulness for sparse estimation with non-convex penalties.

研究の動機と目的

• トレーニングサンプル数 T が大きい場合に、連続関数の和の最小化という課題に取り組むこと。
• 1回の反復あたりのコストを低く保ちながら、確率的手法よりも高速な収束を達成できるスケーラブルな最適化スキームを開発すること。
• 非凸および凸問題において、1次近似関数を用いて、漸近的および収束速度の保証を提供すること。
• 主要化最小化フレームワークをインクリメンタルな設定に拡張し、大規模な学習における有限和の効率的処理を可能にすること。
• 非凸罰則を伴うロジスティック回帰やスパース推定といった実世界の問題への有効性を示すこと。

提案手法

• 各近似関数が現在の反復点でタイトになるように、目的関数の上界（近似関数）を最小化するインクリメンタルスキームを提案する。
• 目的関数を滑らかさを伴う誤差まで近似する1次近似関数を用い、微分可能性およびリプシッツ勾配の性質を保証する。
• 個々の関数 f^t(θ) に対してサイクル的な更新ルールを採用し、1回に1つの成分を更新しながら、全目的関数の推定値を逐次更新する。
• 過去の反復点を保存しないメモリ効率の良い更新メカニズムを導入し、確率的手法に類似した特性を有しながらも、より優れた収束速度を達成する。
• 合成最適化に適用し、強い凸性を満たす関数に対して線形収束を示す新しいインクリメンタル近位勾配アルゴリズムを導出する。
• 方向微分、強い凸性、リプシッツ連続性などの理論的ツールを活用して、収束特性を確立する。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルな主要化最小化スキームは、強い凸性を満たす合成問題に対して線形収束を達成できるか？
• RQ2 非凸および凸最適化問題において収束保証を達成するための近似関数に必要な条件は何か？
• RQ3 SAG や SDCA といった既存の確率的およびインクリメンタル手法と比較して、提案された MISO アルゴリズムの収束速度およびスケーラビリティはどのように異なるか？
• RQ4 非凸罰則を伴うロジスティック回帰やスパース推定といった大規模な機械学習タスクに、この手法は実際に有効に適用できるか？
• RQ5 近似関数の不正確な最小化に対しても、収束解析を拡張することは可能か？

主な発見

• MISO は、強い凸性を満たす合成目的関数の最小化において線形収束を達成し、SAG や SDCA と同等の収束速度を示す。
• 非凸問題では、確実に停留点に収束することが保証される。
• 強い凸性および近似関数の滑らかさの仮定のもとで、期待される目的関数値が線形速度で収束する。
• 実験では、T が十分に大きい場合に、MISO は大規模なロジスティック回帰において最先端の手法と同等の性能を示す。
• 非凸罰則を伴うスパース推定において、本手法は標準的な凸リラクゼーション手法を上回る実用的有効性を示す。
• 理論的分析により、目的関数を滑らかな誤差まで近似する1次近似関数を用いることで、最小限の計算コストで収束保証が得られることを確認した。