[論文レビュー] One-Pass Learning with Incremental and Decremental Features

Chenping Hou, Zhi‐Hua Zhou|arXiv (Cornell University)|May 30, 2016

Advanced Bandit Algorithms Research参考文献 15被引用数 12

ひとこと要約

本稿では、一部の特徴量が消失し、他の特徴量が追加されるような変化する特徴量を持つストリーミングデータに対して、1パス学習を行うOPIDを提案する。この手法は、消失した特徴量の情報を生存する特徴量の関数に圧縮し、新たな特徴量を統合する。このアプローチにより、データを保存せずに効率的かつスケーラブルな学習が可能となり、特にセンサーモニタリングやモバイルゲーム推薦などの現実世界のシナリオで限られた学習データがある状況において顕著な精度向上を達成する。

ABSTRACT

In many real tasks the features are evolving, with some features being vanished and some other features augmented. For example, in environment monitoring some sensors expired whereas some new ones deployed; in mobile game recommendation some games dropped whereas some new ones added. Learning with such incremental and decremental features is crucial but rarely studied, particularly when the data coming like a stream and thus it is infeasible to keep the whole data for optimization. In this paper, we study this challenging problem and present the OPID approach. Our approach attempts to compress important information of vanished features into functions of survived features, and then expand to include the augmented features. It is the one-pass learning approach, which only needs to scan each instance once and does not need to store the whole data, and thus satisfy the evolving streaming data nature. The effectiveness of our approach is validated theoretically and empirically.

研究の動機と目的

• 時間とともに変化するインスタンスと特徴量を伴うストリーミングデータからの学習の課題に対処すること。
• 全データセットを保存する必要のない、スケーラブルで1パス学習が可能なアプローチを開発すること。これはリアルタイムアプリケーションに適している。
• 旧特徴量の消失と新特徴量の導入という特徴量の進化を、再訓練なしに処理すること。
• 特に新特徴量が追加される状況において、限られた学習データでも頑健なパフォーマンスを発揮すること。
• 1パス学習パイプライン内で、特徴量の圧縮（C段階）と拡張（E段階）を統合したフレームワークを提供すること。

提案手法

• 消失した特徴量の処理のためのC段階（C-stage）と、拡張された特徴量の統合のためのE段階（E-stage）を備えた2段階フレームワークを提案する。
• C段階では、各インスタンスを1回だけ処理する1パス学習法を用いて、消失した特徴量の情報を生存する特徴量の関数に圧縮する。
• 線形モデルを用いて、消失した特徴量を生存する特徴量空間に射影し、下流の分類タスクに必要な識別的情報を保持する。
• E段階では、C段階で得られた性能を維持しつつ、新たな拡張特徴量をモデルに統合する。
• C段階で得られた圧縮表現をE段階の学習プロセスに統合し、特徴量の変更に伴う知識の転送を可能にする。
• 特徴量の進化下でのモデルの精度と一般化性能のバランスを取るために、正則化された最適化問題として学習目的を定式化する。

実験結果

リサーチクエスチョン

• RQ1 特徴量が同時に増加と減少を繰り返す状況で、ストリーミングデータからの効果的な学習はどのように実現できるか？
• RQ2 全データセットを保存する必要がなく、特徴量の進化下でも高い分類精度を維持できる1パス学習アルゴリズムを設計できるか？
• RQ3 消失した特徴量の圧縮表現が、新たな特徴量を含む後続の学習段階でのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 限られた学習データと特徴量の変化が生じる状況下で、提案手法のパフォーマンスは従来手法と比べてどの程度優れているか？
• RQ5 生物学的データ、画像データ、センサーデータなど、さまざまな種類のデータにおいて、特徴量の進化下でも本手法は一般化性能を示せるか？

主な発見

• OPIDは、特にE段階の学習データが限られている状況で、ベースライン手法に比べ顕著な精度向上を達成しており、C段階からの知識転送が効果的であることが示された。
• USPS0vs5データセットでは、240件の学習インスタンスで94.7%の精度を達成し、SVMや他のベースラインを上回った。p値0.012は統計的有意性を示している。
• Gisetteデータセットでは、100件の学習インスタンスで97.10%の精度を達成し、SVM（87.95%）や他の手法を著しく上回った。p値は0.0185であった。
• OPIDは、すべてのデータセットと特徴量設定において、すべてのベースラインを上回り、テストセットの24件の比較のうち24件で勝利し、敗北はなかった。
• 多値分類設定（例：Protein, Splice）では、2値分類よりもより顕著な向上を示した。これは、ベースライン精度が高いため、さらなる向上の余地が小さいためと考えられる。
• 高次元データ（例：Gisette（4955特徴量））ではわずかにパフォーマンスが低下したが、これは次元の呪いへの感受性を示唆している。しかし、OPIDは依然としてすべてのベースラインを上回った。