[論文レビュー] Online Machine Learning in Big Data Streams

András A. Benczúr, Levente Kocsis+1 more|arXiv (Cornell University)|Feb 16, 2018

Data Stream Mining Techniques被引用数 16

ひとこと要約

この論文は、大規模なデータストリームにおけるオンライン機械学習の包括的リファレンスを提示しており、分散アーキテクチャ、コンセプトドリフトへの適応モデル、リアルタイムシステムにおける実装を焦点としている。インクリメンタル学習、分散ストリーム処理、および推薦システムを主な応用分野として拡張してカバーしていることが強調されている。

ABSTRACT

The area of online machine learning in big data streams covers algorithms that are (1) distributed and (2) work from data streams with only a limited possibility to store past data. The first requirement mostly concerns software architectures and efficient algorithms. The second one also imposes nontrivial theoretical restrictions on the modeling methods: In the data stream model, older data is no longer available to revise earlier suboptimal modeling decisions as the fresh data arrives. In this article, we provide an overview of distributed software architectures and libraries as well as machine learning models for online learning. We highlight the most important ideas for classification, regression, recommendation, and unsupervised modeling from streaming data, and we show how they are implemented in various distributed data stream processing systems. This article is a reference material and not a survey. We do not attempt to be comprehensive in describing all existing methods and solutions; rather, we give pointers to the most important resources in the field. All related sub-fields, online algorithms, online learning, and distributed data processing are hugely dominant in current research and development with conceptually new research results and software components emerging at the time of writing. In this article, we refer to several survey results, both for distributed data processing and for online machine learning. Compared to past surveys, our article is different because we discuss recommender systems in extended detail.

研究の動機と目的

• 大規模データストリームにおけるオンライン機械学習の包括的概要を提供すること。特に分散システムと適応的学習に焦点を当てる。
• 限られたメモリ環境下で高速度かつ非定常なデータストリームを処理する際の主な課題を強調すること。
• オンライン分類、回帰、推薦、非教師あり学習の分野における最新のモデルとシステムを提示すること。
• 動的環境におけるコンセプトドリフトの検出と緩和の重要性を強調すること。
• 生産環境向けのシステムおよびソフトウェアライブラリにおけるオンライン学習の実用的知見を提供すること。

提案手法

• メモリ制約のため、データが継続的に到着するが、その一部しか保存されないデータストリーム計算モデルを用いる。
• インクリメンタル学習を採用：過去のデータにアクセスできない状態で、各データインスタンス受信後にモデルを更新する。
• パラメータサーバーと相互接続トポロジーに基づく、フェイルセーフな分散ストリーム処理アーキテクチャを適用する。
• 時間的に変化するデータにおけるコンセプトドリフトの処理に、スライディングウィンドウおよびランデイマー・ウィンドウ技術を用いる。
• 突然または徐々に変化する分布シフトに適応するため、アンサンブル手法とフォーゲティング機構を活用する。
• スケーラビリティとリアルタイム性能を実現するため、古典的手法のオンライン版（例：オンラインk-means、オンラインPCA、オンラインLDA）を活用する。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリ環境下で、高速度のデータストリームからリアルタイムに効率的にモデルを更新する方法は何か？
• RQ2 大規模データ環境におけるスケーラブルなオンライン学習に最適な分散ソフトウェアアーキテクチャは何か？
• RQ3 時間経過に伴いデータ分布が変化するコンセプトドリフトは、オンライン学習システムでどのように検出され、緩和されるか？
• RQ4 動的で非定常な環境において、オンライン学習と従来のバッチ学習の主な違いは何か？
• RQ5 推薦システムはコンセプトドリフトによってどのように特異な課題に直面し、リアルタイムでの適応に向けた解決策は何か？

主な発見

• データが継続的に到着し、完全に保存できないリアルタイムアプリケーションでは、オンライン学習が不可欠であり、インクリメンタルなモデル更新が求められる。
• パラメータサーバーを用いた分散ストリーム処理システムは、クラスタ全体にわたるスケーラブルでフェイルセーフなオンライン学習を可能にする。
• コンセプトドリフトは生産環境システムにおける主要な課題である。スライディングウィンドウと明示的なフォーゲティング機構により、急激または徐々の分布シフトに対する耐性が向上する。
• アンサンブルベースの進化型学習者とトリガー駆動型モデルは、特に動的環境において、コンセプトドリフトの検出と適応に効果的である。
• 推薦システムはオンライン学習の重要な応用分野でありながら、未だ十分に掘り下げられていない。ユーザーの嗜好の変化に応じた適応的モデルの必要性が高まっている。
• 古典的手法のオンライン版（例：オンラインLDA、オンラインPCA、オンラインk-means）により、ストリーミング環境下で次元削減、クラスタリング、トピックモデリングをリアルタイムで実現できる。