[論文レビュー] Online Unsupervised Multi-view Feature Selection

Weixiang Shao, Lifang He+3 more|arXiv (Cornell University)|Sep 27, 2016

Data Stream Mining Techniques参考文献 27被引用数 9

ひとこと要約

本稿では、大規模またはストリーミングなマルチビュー・データをリアルタイムで処理し、最小限のメモリ使用量で動作する、初めてのオンライン非教師ありマルチビュー特徴選択手法OMVFSを提案する。非負値行列分解とグラフ正則化、およびインクリメンタル学習を統合することで、OMVFSは局所的構造を保持しながら判別性の高い特徴を選択し、コンセプトドリフトに対応可能であり、性能を損なわずにオフライン手法と比較して最大100倍の高速化を達成する。

ABSTRACT

In the era of big data, it is becoming common to have data with multiple modalities or coming from multiple sources, known as "multi-view data". Multi-view data are usually unlabeled and come from high-dimensional spaces (such as language vocabularies), unsupervised multi-view feature selection is crucial to many applications. However, it is nontrivial due to the following challenges. First, there are too many instances or the feature dimensionality is too large. Thus, the data may not fit in memory. How to select useful features with limited memory space? Second, how to select features from streaming data and handles the concept drift? Third, how to leverage the consistent and complementary information from different views to improve the feature selection in the situation when the data are too big or come in as streams? To the best of our knowledge, none of the previous works can solve all the challenges simultaneously. In this paper, we propose an Online unsupervised Multi-View Feature Selection, OMVFS, which deals with large-scale/streaming multi-view data in an online fashion. OMVFS embeds unsupervised feature selection into a clustering algorithm via NMF with sparse learning. It further incorporates the graph regularization to preserve the local structure information and help select discriminative features. Instead of storing all the historical data, OMVFS processes the multi-view data chunk by chunk and aggregates all the necessary information into several small matrices. By using the buffering technique, the proposed OMVFS can reduce the computational and storage cost while taking advantage of the structure information. Furthermore, OMVFS can capture the concept drifts in the data streams. Extensive experiments on four real-world datasets show the effectiveness and efficiency of the proposed OMVFS method. More importantly, OMVFS is about 100 times faster than the off-line methods.

研究の動機と目的

• メモリ容量を超える高次元でラベルなしのマルチビュー・データから有用な特徴を選択する課題に対処すること。
• データが段階的に到着し、時間とともにパターンが変化するコンセプトドリフトを伴うデータストリームに対して特徴選択を可能にすること。
• 複数のビュー間で一貫性があり補完的な情報を活用して、特徴選択のパフォーマンスを向上させること。
• すべての歴史的データを保存せずに高精度を維持する、スケーラブルでメモリ効率の良い手法を開発すること。
• オンライン学習、マルチビュー統合、判別的特徴選択を統合した単一の統一フレームワークを提供すること。

提案手法

• OMVFSは非負値行列分解（NMF）を用いて、クラスタリング目的関数に非教師あり特徴選択を統合する。
• 局所的データ構造を保持し、特徴の判別性を向上させるために、グラフ正則化を組み込む。
• 全ビューにわたる一貫性のあるクラスタリングインジケータ行列を学習するための共同NMF定式化を採用し、マルチビュー統合を実現する。
• データをチャンク単位で処理するインクリメンタル最適化戦略を用い、すべての歴史的データを保存するのではなく、小さな集約行列のみを更新する。
• モデルの適応性を維持し、ストリーミング・データにおけるコンセプトドリフトを検出するために、バッファリング技術を採用する。
• 因子分解された行列に対するスparser学習により特徴選択を実現し、情報量の多い特徴の選択を促進する。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリで大規模またはストリーミングなマルチビュー・データを処理できるオンライン特徴選択手法は、実際に有効に機能するか？
• RQ2 複数のビュー間で一貫性があり補完的な情報をどのように活用することで、非教師あり特徴選択の性能を向上させられるか？
• RQ3 本手法は、再訓練を再び開始することなく、ストリーミング・データにおけるコンセプトドリフトを検出し、それに適応できるか？
• RQ4 オフラインマルチビュー特徴選択と比較して、オンライン手法の性能は、正確性と効率性の観点でどの程度優れているか？
• RQ5 正則化係数やバッチサイズといったハイパーパrameterの選択に、どの程度感度が強く影響を受けるか？

主な発見

• OMVFSは、最良のオフラインマルチビュー特徴選択手法と比較して、性能を損なわずに最大100倍の高速化を達成する。
• 本手法はさまざまなバッチサイズに対して安定したパフォーマンスを示し、データチャンク戦略に対するロバストネスを示している。
• OMVFSはハイパーパrameter αv および βv に対して相対的に感度が低く、選択された特徴数が増加するにつれて性能が滑らかに向上する。
• バッファリング機構により、OMVFSはストリーミング・データにおけるコンセプトドリフトを効果的に捉え、長期間にわたりモデルの関連性を維持できる。
• 4つの実世界データセットを用いた広範な実験により、OMVFSがメモリ制限およびストリーミング制約下でもクラスタリングおよび特徴選択タスクにおいて高い正確性を維持することが確認された。
• グラフ正則化とコンセンサスクラスタリングの統合により、ベースライン手法と比較して特徴の判別性が顕著に向上した。