[論文レビュー] Least Squares Revisited: Scalable Approaches for Multi-class Prediction

Alekh Agarwal, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 7, 2013

Machine Learning and Algorithms参考文献 33被引用数 21

ひとこと要約

本稿では、データの条件数に依存しない高速な収束を達成するために、プリコンディショナーハッセリア近似を用いた、大規模な多値分類に適したスケーラブルでパラメータフリーの2次最適化手法を導入する。この手法は、MNIST や CIFAR-10 において、Liblinear や Vowpal Wabbit といった1次最適化手法と比較して、速度で数桁も優れている。MATLAB でのシンプルな実装で最先端の精度を達成しており、一般化線形モデル（GLM）における重みとリンク関数の共同学習も可能である。

ABSTRACT

This work provides simple algorithms for multi-class (and multi-label) prediction in settings where both the number of examples n and the data dimension d are relatively large. These robust and parameter free algorithms are essentially iterative least-squares updates and very versatile both in theory and in practice. On the theoretical front, we present several variants with convergence guarantees. Owing to their effective use of second-order structure, these algorithms are substantially better than first-order methods in many practical scenarios. On the empirical side, we present a scalable stagewise variant of our approach, which achieves dramatic computational speedups over popular optimization packages such as Liblinear and Vowpal Wabbit on standard datasets (MNIST and CIFAR-10), while attaining state-of-the-art accuracies.

研究の動機と目的

• 例数 $n$ と特徴量の次元 $d$ が両方とも大きい大規模な多値分類問題に対して、ロバストでスケーラブルなアルゴリズムを開発すること。
• 特に MNIST や CIFAR-10 のような高次元ビジョンタスクにおいて、条件数が悪いデータ上での1次最適化手法の収束遅さを克服すること。
• ラインサーチを必要とせず、$d \times d$ 行列演算のみを用いる、パラメータフリーでメトリクスフリーな2次最適化手法を設計すること。従来のハッセリアベースの手法とは異なり、$\mathcal{O}(dk \times dk)$ の行列演算を回避する。
• 一般化線形モデル（GLM）における重みとリンク関数の共同推定を拡張し、予測に基づく特徴量学習を用いた反復的改善を可能とすること。
• 小さな特徴量サブセットを段階的に適合させる、ステージワイズのブロック座標変動法を設計し、高次元問題へのスケーラビリティを実現すること。

提案手法

• 経験的2次モーメント $\widehat{\Sigma} = \frac{1}{n}\sum_i x_i x_i^T$ をプリコンディショナとしてハッセリアの主要化を用い、$\mathcal{O}(dk \times dk)$ の行列演算を回避する。
• 計算的に効率が良く、データの条件数に依存せずに収束する、シンプルでパラメータフリーの2次更新則を採用する。
• 各反復のコストを低減するため、小さな段階的特徴量サブセット上で線形最小二乗モデルを適合させる、ステージワイズのブロック座標降下手順を導入する。
• パラメトリックな仮定の下で、GLM フレームワークにおける重みとリンク関数の共同学習を拡張し、等単調回帰にインspired な技術を用いる。
• 単体制約ではなくハイパーキューブ値をとるラベルを扱うように投影ステップを変更することで、マルチラベル設定へ応用する。
• ステージワイズバージョンにおいて、情報量の多い特徴量を優先するためのグリーディー特徴量選択戦略を採用し、収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模な多値分類に適した、スケーラブルでパラメータフリーの2次最適化手法は実現可能か？
• RQ2 MNIST や CIFAR-10 のような条件数が悪いビジョンデータセットにおいて、Vowpal Wabbit や Liblinear といった1次最適化手法と比較して、2次最適化手法の性能はどの程度向上するか？
• RQ3 計算コストが著しく増大することなく、2次最適化手法を高次元問題にスケーリングするために、ステージワイズのブロック座標アプローチは効果的か？
• RQ4 非凸性が存在する状況下でも、理論的収束保証が得られるような、GLM フレームワークにおける重みとリンク関数の共同学習は可能か？
• RQ5 NEWS20 や RCV1 のような良好に条件付けられたスパーステキストデータセットにおいて、1次最適化手法が通常優勢である中で、本手法の有効性はどの程度か？

主な発見

• MNIST では、ステージワイズバージョンがシンプルな MATLAB 実装で最先端の精度を達成し、高度に最適化された C 製の Liblinear や Vowpal Wabbit よりも少なくとも10倍以上高速に実行された。
• CIFAR-10 では、標準的な畳み込み特徴量を用いた線形回帰で85％以上の精度を達成し、データオーグメンテーションなしで多くのディープラーニングベースラインを上回った。
• 400個のフィルタと多項式特徴量を用いた場合、CIFAR-10 で80％以上の精度を極めて短時間で達成し、収束の速さとスケーラビリティを実証した。
• NEWS20 や RCV1 のような良好に条件付けられたテキストデータセットでは、1次最適化手法（VW, Liblinear）が依然として競争力を持つが、ステージワイズ手法は一部のケースで顕著に短い訓練時間で同等のテスト誤差を達成した。
• 本手法は、多様なデータタイプにわたり、ロバストでスケーラブルであることが実証された。特に、条件数が悪いビジョンデータでは劇的な高速化が得られ、良好に条件付けられたテキストデータでも優れた性能を示した。
• 等単調回帰にインspired な更新を用いた重みとリンク関数の共同学習により、多値 GLM における反復的モデル改善の新しい理論的根拠に基づくアプローチを提供した。