[論文レビュー] MORES: Online Incremental Multiple-Output Regression for Data Streams.

Changsheng Li, Weishan Dong+2 more|arXiv (Cornell University)|Dec 18, 2014

Data Stream Mining Techniques参考文献 38被引用数 5

ひとこと要約

本稿では、データストリームにおける予測精度を向上させるために、回帰係数と残差誤差の構造を動的に学習するオンラインインクリメンタルな複数出力回帰手法MORESを提案する。統計的変数と忘れ係数を用いたインクリメンタルな損失計算により、効率的でメモリフリーかつノイズに強いモデル更新が可能となり、実世界のデータセットにおいて優れた性能を示した。

ABSTRACT

Online multiple-output regression is an important machine learning technique for modeling, predicting, and compressing multi-dimensional correlated data streams. In this paper, we propose a novel online multiple-output regression method, called MORES, for streaming data. MORES can \emph{dynamically} learn the structure of the regression coefficients to facilitate the model's continuous refinement. We observe that limited expressive ability of the regression model, especially in the preliminary stage of online update, often leads to the variables in the residual errors being dependent. In light of this point, MORES intends to \emph{dynamically} learn and leverage the structure of the residual errors to improve the prediction accuracy. Moreover, we define three statistical variables to \emph{exactly} represent all the seen samples for \emph{incrementally} calculating prediction loss in each online update round, which can avoid loading all the training data into memory for updating model, and also effectively prevent drastic fluctuation of the model in the presence of noise. Furthermore, we introduce a forgetting factor to set different weights on samples so as to track the data streams' evolving characteristics quickly from the latest samples. Experiments on three real-world datasets validate the effectiveness and efficiency of the proposed method.

研究の動機と目的

• 特に初期学習段階において表現能力が制限されるオンライン複数出力回帰モデルの課題に対処すること。
• 初期更新段階でしばしば依存関係を示す残差誤差の構造を動的にモデル化することで、予測精度を向上させること。
• 生のデータを再読み込みせずに、統計的変数を用いてすべての過去のサンプルを段階的に追跡することで、メモリ効率の良いオンライン学習を可能にすること。
• 最近のサンプルに高い重みを割り当てる忘れ係数を導入することで、概念ずれへの迅速な適応を可能にし、ノイズ環境下でのモデル安定性を確保すること。

提案手法

• すべての過去に観測されたサンプルを正確に表現するための3つの統計的変数を導入し、生データを保存せずに予測損失を段階的に計算可能にする。
• 残差誤差の構造を動的に学習・活用することで、オンライン更新中のモデルの表現力と予測精度を向上させる。
• 最近のサンプルに高い重みを割り当てる忘れ係数を適用し、モデルが進化するデータストリームの特性に素早く適応できるようにする。
• インクリメンタルな損失計算を用いたオンラインモデル更新を定式化することで、計算効率とメモリ使用量の低減を実現する。
• 回帰係数の構造学習と残差誤差パターンの構造学習を統合したフレームワークを構築し、継続的なモデルの最適化を可能にする。
• 大規模なストリーミングデータに適した、最小限の計算オーバーヘッドでリアルタイムの更新が可能なアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 初期学習段階において残差誤差が強く依存関係を示す状況で、オンライン複数出力回帰モデルの表現力をどのように向上できるか。
• RQ2 オンライン回帰において、予測損失を段階的に計算する効率的でメモリフリーな方法は何か。
• RQ3 ノイズに強く、概念ずれへの迅速な適応を実現しつつ、モデルがどのように適応できるか。
• RQ4 残差誤差の構造を動的に学習することで、ストリーミング環境における予測精度はどの程度向上するか。

主な発見

• MORESは、オンライン学習中に残差誤差構造を動的にモデル化することで、ベースライン手法よりも高い予測精度を達成した。
• 統計的変数を用いたインクリメンタル損失計算により、すべての学習データを保存する必要がなく、メモリ使用量を顕著に削減した。
• 忘れ係数のおかげで、最近のサンプルに注目することで、概念ずれへの適応が迅速化した。
• ノイズに強く、変動するデータストリームの中でも安定したモデル更新を示した。
• 3つの実世界データセットを用いた実験により、MORESの有効性と計算パフォーマンスにおける効率性が確認された。