[論文レビュー] A Novel Framework for Online Supervised Learning with Feature Selection

Lizhe Sun, Mingyuan Wang+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Bandit Algorithms Research参考文献 59被引用数 5

ひとこと要約

本論文は、走査平均を用いた新しいオンライン学習フレームワークを提案し、理論的保証とともにより効率的でスケーラブルな特徴選択を可能にする。高速な収束と高い真の特徴回復精度を達成し、大規模な回帰および分類データセットにおいて、特に特徴工学を用いた非線形関係のモデリングにおいて、標準的なオンラインおよびオフライン手法を上回る性能を発揮する。

ABSTRACT

Current online learning methods suffer issues such as lower convergence rates and limited capability to select important features compared to their offline counterparts. In this paper, a novel framework for online learning based on running averages is proposed. Many popular offline regularised methods such as Lasso, Elastic Net, Minimax Concave Penalty (MCP), and Feature Selection with Annealing (FSA) have their online versions introduced in this framework. The equivalence between the proposed online methods and their offline counterparts is proved, and then novel theoretical true support recovery and convergence guarantees are provided for some of the methods in this framework. Numerical experiments indicate that the proposed methods enjoy high true support recovery accuracy and a faster convergence rate compared with conventional online and offline algorithms. Finally, applications to large datasets are presented, where again the proposed framework shows competitive results compared to popular online and offline algorithms.

研究の動機と目的

• 従来のオンライン学習手法の限界、例えば収束が遅いことや特徴選択能力が低いことに対処すること。
• データ処理の途中でも任意のスパarsityレベルおよびモデルタイプをサポートするオンライン学習フレームワークを構築すること。
• n >> p の高次元設定において、真の特徴回復および収束に関する理論的保証を提供すること。
• 概念ずれの検出と応答を通じて、逐次的なモデル更新によりデータドリフトへのモデル適応を可能にすること。
• 実世界のデータセットにおいて、予測精度および特徴選択性能の面で、既存のオンラインおよびオフラインアルゴリズムを上回ること。

提案手法

• フルデータ行列の代わりに、特徴の一次モーメントおよび二次モーメントの走査平均を用いることで、定数メモリ処理を実現する。
• 正規化された走査平均を用いることで、数値的安定性を維持し、オンライン環境における効率的計算を可能にする。
• Elastic Net、Minimax Concave Penalty、Annealingを用いた特徴選択などの代表的なオフライン正則化手法のオンライン版を導出する。
• 走査平均に基づくオンライン最適化問題を定式化し、理論的収束保証とともによりリアルタイムなモデル更新を可能にする。
• 動的モデル選択をサポートし、データの再処理なしに異なるスパarsityレベルのモデルを抽出可能にする。
• 概念ずれを検出し、逐次的なモデル更新により応答するモデル適応メカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習手法は、標準的なオンラインアルゴリズムよりも高速な収束およびより優れた特徴回復を達成できるか？
• RQ2 走査平均に基づくフレームワークは、いつでも任意のスパarsityレベルでのオンライン特徴選択をサポートできるか？
• RQ3 提案されたフレームワークは、高次元設定において真の特徴回復および収束に関する理論的保証を維持できるか？
• RQ4 大規模な実世界のデータセットにおいて、フレームワークはオフラインおよびオンラインベースラインと比較してどの程度の性能を示すか？
• RQ5 走査平均を用いた特徴工学により、フレームワークは非線形関係を効果的にモデリングできるか？

主な発見

• 提案された OLSth および OFSA の手法は、従来のオンライン手法の標準的レート O(1/√n) よりも著しく速い、O(n⁻¹) のレギュレートレートを達成する。
• OLSth および OFSA は高い真の特徴回復精度を示し、WIKIFace データセットでは R² 0.547、非線形の Year Prediction MSD データセットでは R² 0.303 を達成する。
• 走査平均ベースの手法は、ペairwise 特徴を用いた Year Prediction MSD データセットにおいて、高次元性と計算制約のため Lasso が失敗した状況でも、オフライン Lasso を上回る性能を示す。
• OFSA は Dexter データセットで AUC 0.971 を達成し、他のオンライン手法（SADMM: AUC 0.499、FOFS: AUC 0.499）を著しく上回る。
• フレームワークはデータドリフトへの効果的なモデル適応を可能にし、走査平均を用いた特徴拡張により非線形モデリングも可能にする。
• O(p²) のメモリおよび O(np²) の計算複雑性のため、p < 50,000 に制限され、超高次元データには不適切である。