[論文レビュー] Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers

Dongjin Lee, Kijung Shin|arXiv (Cornell University)|Feb 16, 2021

Tensor decomposition and applications参考文献 44被引用数 10

ひとこと要約

SOFIA は、欠損値と外れ値を含むリアルタイムストリーミングデータを対象としたオンラインでロバストなテンソル因子分解手法である。線形時間でテンソル因子分解、外れ値検出、季節的パターン認識を統合し、最先端の手法と比較して、補完誤差が最大76%低く、予測誤差が71%低く、935倍速く、データ量に比例して線形にスケーラブルである。

ABSTRACT

Consider multiple seasonal time series being collected in real-time, in the form of a tensor stream. Real-world tensor streams often include missing entries (e.g., due to network disconnection) and at the same time unexpected outliers (e.g., due to system errors). Given such a real-world tensor stream, how can we estimate missing entries and predict future evolution accurately in real-time? In this work, we answer this question by introducing SOFIA, a robust factorization method for real-world tensor streams. In a nutshell, SOFIA smoothly and tightly integrates tensor factorization, outlier removal, and temporal-pattern detection, which naturally reinforce each other. Moreover, SOFIA integrates them in linear time, in an online manner, despite the presence of missing entries. We experimentally show that SOFIA is (a) robust and accurate: yielding up to 76% lower imputation error and 71% lower forecasting error; (b) fast: up to 935X faster than the second-most accurate competitor; and (c) scalable: scaling linearly with the number of new entries per time step.

研究の動機と目的

• 実世界のテンソルストリームに含まれる欠損値と外れ値を正確に補完し、将来の値を予測する課題に対処すること。
• バッチ再処理を必要とせず、ストリーミングテンソルデータを段階的に処理できるオンラインでスケーラブルなアルゴリズムを開発すること。
• テンソル因子分解、外れ値検出、時系列パターン認識を統合し、各コンponentの性能を向上させること。
• 外れ値と欠損値に対してロバストでありながら、リアルタイムアプリケーションで高い精度と低コストの計算を維持すること。
• 新しいエントリ数が時間ステップごとに増加するに従い、線形にスケーラブルになること。これにより、大規模なストリーミングシステムへの導入が可能になる。

提案手法

• SOFIA は、修正された低ランク分解フレームワークを用いて、CP因子分解を拡張し、ストリーミングテンソルにおける季節的・徐々に変化する時系列パターンをモデル化する。
• 新しいテンソルエントリが到着する度に要因行列を段階的に更新するオンライン最適化戦略を採用し、1時間ステップあたり線形時間計算量を確保する。
• 外れ値検出は、極端な値の影響を低減するためのロバストな損失関数（例：Huber や L1）を用いた因子分解プロセスに統合されている。
• 季節性やトレンドなどの時系列パターンは、学習された潜在的成分を活用するHolt-Wintersにインspiredされた予測コンポonentを用いて明示的にモデル化されている。
• 一元的でエンドツーエンド微分可能なフレームワーク内で、低ランク構造、外れ値抑制、パターン検出を同時に最適化する。
• 初期化とパラメータ更新はストリーミング形式で実行され、再計算を回避し、リアルタイムデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのオンラインアルゴリズムが、高精度かつ低レイテンシで、ストリーミングテンソルデータにおける欠損値、外れ値、時系列パターンを同時に処理できるか？
• RQ2 テンソル因子分解、外れ値検出、パターン認識の統合が、個別に処理する手法と比較して、補完と予測性能をどの程度向上させるか？
• RQ3 実世界のストリーミング環境において、データ量と1時間ステップあたりのエントリ数が増加するに従い、SOFIA はどの程度スケーリングするか？
• RQ4 欠損データと外れ値を含む現実的な条件下で、SOFIA は最先端のバッチおよびオンラインテンソル因子分解手法と比較して、精度と速度でどの程度優れているか？
• RQ5 欠損エントリの割合が時間経過とともに増加する状況でも、SOFIA は高い予測精度を維持できるか？

主な発見

• SOFIA は、4つの実世界データセットにおいて、2番目に精度の高かった競合手法と比較して、補完誤差が最大76%低かった。
• SOFIA は、外れ値と欠損データの多い状況下でも、最も性能の優れた競合手法と比較して、予測誤差を最大71%低減した。
• SOFIA は、2番目に精度の高かった手法と比較して、最大935倍速く、リアルタイムアプリケーションに適している。
• SOFIA は、1時間ステップあたりの新しいエントリ数に比例して線形にスケーリングし、以前に処理された部分テンソルの数に関係なく、1時間ステップあたりの処理時間が一定である。
• SOFIA は、欠損データ率が異なるデータセットにおいても一貫した性能を示したが、完全なデータに依存する競合手法は、欠損度が高くなると著しく性能が低下した。
• SOFIA は、SMF や CPHW よりも遅いにもかかわらず、外れ値に対してロバストで、欠損値を処理できるという特徴があるため、精度で優れている。