[論文レビュー] Stochastic Optimization for Machine Learning

Andrew Cotter|arXiv (Cornell University)|Aug 15, 2013

Machine Learning and Algorithms参考文献 48被引用数 25

ひとこと要約

本学位論文は、カーネル化線形分類および主成分分析（PCA）という2つの中心的機械学習問題に対する、新規の確率的最適化アルゴリズムを提案する。効率的な二値分類のための確率的バッチパーセプトロンと、スパースPCAのためのキャップド・メッセージパッシングアルゴリズムを導入し、理論的収束保証のもとで、実世界のデータにおいて最先端の性能を達成する。

ABSTRACT

It has been found that stochastic algorithms often find good solutions much more rapidly than inherently-batch approaches. Indeed, a very useful rule of thumb is that often, when solving a machine learning problem, an iterative technique which relies on performing a very large number of relatively-inexpensive updates will often outperform one which performs a smaller number of much "smarter" but computationally-expensive updates. In this thesis, we will consider the application of stochastic algorithms to two of the most important machine learning problems. Part i is concerned with the supervised problem of binary classification using kernelized linear classifiers, for which the data have labels belonging to exactly two classes (e.g. "has cancer" or "doesn't have cancer"), and the learning problem is to find a linear classifier which is best at predicting the label. In Part ii, we will consider the unsupervised problem of Principal Component Analysis, for which the learning task is to find the directions which contain most of the variance of the data distribution. Our goal is to present stochastic algorithms for both problems which are, above all, practical--they work well on real-world data, in some cases better than all known competing algorithms. A secondary, but still very important, goal is to derive theoretical bounds on the performance of these algorithms which are at least competitive with, and often better than, those known for other approaches.

研究の動機と目的

• 実世界の機械学習問題において、従来のバッチ法よりも高速かつスケーラブルな実用的な確率的アルゴリズムを開発する。
• サポートベクターマシンとPCAにおけるスパースで解釈可能なモデルの学習という課題に、新規の最適化技術を用いて対処する。
• 既存の手法と同等または優れた理論的収束バウンドを提供する。
• 提案されたアルゴリズムが、多様なデータ分布および問題設定において、ロバストで効果的であることを保証する。
• 大規模学習タスクにおける理論的性能と実効性のギャップを埋める。

提案手法

• 二値分類のための、オンライン更新とバッチに類似した収束特性を組み合わせた確率的バッチパーセプトロンアルゴリズムを提案する。
• データ共分散行列の上位-k固有空間への射影を実行する、キャップド・メッセージパッシングアルゴリズム（capped-MSG）をPCA用に導入する。
• 凸緩和とKKT条件を用いて、PCAにおける最適な低ランク射影行列の閉形式解を導出する。
• 正則化なしの2次モーメント行列の固有値にクリッピング操作を適用し、ランク-kおよび境界（0 ≤ σᵢ ≤ 1）を強制する。
• 双対性と部分勾配法を活用して、スパース誘導正則化を施したカーネル化SVMのプライマルおよびデュアル目的関数を最適化する。
• 収束性を損なわずにモデルの柔軟性を向上させるために、正則化なしのバイアス項を最適化フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 大規模なカーネル化分類において、確率的アルゴリズムはバッチ法よりも速い収束とより良い一般化性能を達成できるか？
• RQ2 強い一般化保証を持つスパースなサポートベクターマシンを学習できる確率的アルゴリズムをどのように設計できるか？
• RQ3 PCAのためのキャップド・MSGアルゴリズムは、やや厳しい仮定のもとで、局所最適解を避けて真の上位-k部分空間に収束するか？
• RQ4 提案された確率的アルゴリズムの収束速度および一般化誤差に対して、どのような理論的バウンドを導出できるか？
• RQ5 提案手法は、実世界のデータセットにおいて、精度および学習速度の面で、既存の最先端手法を上回ることができるか？

主な発見

• 実世界のデータセットにおいて、標準的な確率的およびバッチパーセプトロン法と比較して、提案された確率的バッチパーセプトロンは、より速い収束とより高いテスト精度を達成する。
• PCAのためのキャップド・MSGアルゴリズムは、局所最適解を一切持たず、真の共分散行列の固有値が相異なる場合に、一意のグローバル最適解（上位-k固有空間への射影）に収束する。
• 提案されたスパースSVM学習法は、圧縮と滑らかさに基づく一般化バウンドを達成し、先行研究と同等または優れた理論的保証を提供する。
• スパースSVMのためのアルゴリズムは、滑らかさを維持したままスパース性を促進するためのスラント損失関数を用いる。
• 理論的分析により、提案されたアルゴリズムがやや厳しい仮定のもとで最適解に収束することが確認され、収束速度は既存手法と同等または優れている。
• 実験的結果により、提案されたアルゴリズムが、ベンチマークデータセットにおいて、特に学習速度とモデルのスパarsityの面で、既知のすべての競合アルゴリズムを上回ることが示された。