[論文レビュー] Approximation Vector Machines for Large-scale Online Learning

Trung Le, Tu Dinh Nguyen+2 more|arXiv (Cornell University)|Apr 22, 2016

Machine Learning and ELM参考文献 26被引用数 4

ひとこと要約

本稿では、事前に定義された距離閾値内にある近隣の点で新しいデータインスタンスを近似することで、モデルのスパarsityと計算効率を維持するカーネルベースのオンライン学習手法である近似ベクタマシン（AVM）を提案する。理論的分析により、近似ギャップは近似頻度と閾値に依存することが示され、実験では大規模な分類および回帰タスクにおいて、モデルサイズを最小限に抑えつつ、最先端の性能と顕著な高速化を達成している。

ABSTRACT

One of the most challenging problems in kernel online learning is to bound the model size and to promote the model sparsity. Sparse models not only improve computation and memory usage, but also enhance the generalization capacity, a principle that concurs with the law of parsimony. However, inappropriate sparsity modeling may also significantly degrade the performance. In this paper, we propose Approximation Vector Machine (AVM), a model that can simultaneously encourage the sparsity and safeguard its risk in compromising the performance. When an incoming instance arrives, we approximate this instance by one of its neighbors whose distance to it is less than a predefined threshold. Our key intuition is that since the newly seen instance is expressed by its nearby neighbor the optimal performance can be analytically formulated and maintained. We develop theoretical foundations to support this intuition and further establish an analysis to characterize the gap between the approximation and optimal solutions. This gap crucially depends on the frequency of approximation and the predefined threshold. We perform the convergence analysis for a wide spectrum of loss functions including Hinge, smooth Hinge, and Logistic for classification task, and $l_1$, $l_2$, and $ε$-insensitive for regression task. We conducted extensive experiments for classification task in batch and online modes, and regression task in online mode over several benchmark datasets. The results show that our proposed AVM achieved a comparable predictive performance with current state-of-the-art methods while simultaneously achieving significant computational speed-up due to the ability of the proposed AVM in maintaining the model size.

研究の動機と目的

• カーネルベースのオンライン学習におけるカーネル化の Curse（悪影響）に対処すること、特にモデルサイズがデータ量に線形に増加することを防ぐこと。
• 予測性能を損なわせることなくモデルのスパarsityを維持し、計算効率と一般化性能のバランスを保つこと。
• 近似解と最適解のギャップを制限する原理的近似メカニズムを開発すること。
• メモリ使用量を制限し、高速な推論を実現する大規模データストリームにおけるスケーラブルかつリアルタイムの学習を可能にすること。
• 分類および回帰における一般的な損失関数に対して、近似誤差の理論的保証を提供すること。

提案手法

• AVMは、事前に定義された距離閾値δ内にある最近傍点によって、各到着するデータインスタンスを近似することで、複数の点を1つのコアポイントで表現することによりモデルサイズを削減する。
• 代表的なポイント（コアポイント）のコアセットを用いてコンactなモデルを構築し、各新しいインスタンスがδ以内であれば、最も近いコアポイントにマッピングされる。
• 理論的分析により、ヒンジ損失、スムーズヒンジ損失、ロジスティック損失、ℓ1、ℓ2、ε-インセンティブ損失の近似誤差の境界が導出され、誤差がδと近似頻度に依存することが示された。
• 特徴空間で確率的勾配降下（SGD）更新ルールが適用され、コアポイント表現を用いることで計算効率を維持する。
• モデルは段階的に更新される：新しいインスタンスが到着すると、それが新しいコアポイントとして追加されるか、既存のもので近似される。モデルサイズを制御するための予算戦略が採用される。
• 重みベクトルの収束性とノルムの境界が導出され、λ > 1のとき、近似メカニズム下でも安定することが示された。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのオンライン学習において、一般化性能を劣化させることなく、モデルのスパarsityを効果的に強制する方法は何か？
• RQ2 近似閾値δと最適解における誤差の理論的関係は何か？
• RQ3 近似の頻度が、近似モデルと最適モデルの間の性能ギャップに与える影響は何か？
• RQ4 大規模データセットにおいて、予測精度を保持しつつ、モデルサイズを制限できるか？
• RQ5 さまざまな損失関数下での近似メカニズムの収束性と安定性の性質は何か？

主な発見

• AVMは、バッチおよびオンライン学習の両設定において、ベンチマークデータセットで最先端の手法と同等の予測性能を達成した。
• 3次元のa9aデータセットの投影において、δ = 7.0のハイパースフェア近似を用いることで、1,000個のデータポイントから20個のコアポイントへの顕著なモデルサイズ削減が達成された。
• 理論的分析により、近似誤差が有界であり、閾値δと近似操作の頻度に依存することが確認された。
• ℓ2損失の場合、λ > 1のとき、重みベクトルのノルムは y_max / (λ - 1) で有界であることが示され、安定性と収束性が保証された。
• λ ≤ 1の場合、重みベクトルのノルムは上界を持たないため、モデル安定性のための臨界閾値であることが示された。
• 実験結果により、モデルサイズの削減に起因する顕著な計算高速化が確認され、予測精度を損なわずに実現された。