[論文レビュー] SliceNStitch: Continuous CP Decomposition of Sparse Tensor Streams

Taehyung Kwon, Inkyu Park+2 more|arXiv (Cornell University)|Feb 23, 2021

Tensor decomposition and applications参考文献 43被引用数 4

ひとこと要約

SliceNStitch は、スパーステンソルストリームに対して連続的なCP分解フレームワークを導入し、新しいデータが到着する度に要因行列を即座に更新できるようにすることで、従来のテンソルモデルの離散的時間制限を克服する。オンライン競合手法と比較して最大464倍の高速更新を達成しながら、オフライン手法と同等の適合度を維持しており、異常検知やレコメンデーションシステムなどのリアルタイム応用に適している。

ABSTRACT

Consider traffic data (i.e., triplets in the form of source-destination-timestamp) that grow over time. Tensors (i.e., multi-dimensional arrays) with a time mode are widely used for modeling and analyzing such multi-aspect data streams. In such tensors, however, new entries are added only once per period, which is often an hour, a day, or even a year. This discreteness of tensors has limited their usage for real-time applications, where new data should be analyzed instantly as it arrives. How can we analyze time-evolving multi-aspect sparse data 'continuously' using tensors where time is'discrete'? We propose SLICENSTITCH for continuous CANDECOMP/PARAFAC (CP) decomposition, which has numerous time-critical applications, including anomaly detection, recommender systems, and stock market prediction. SLICENSTITCH changes the starting point of each period adaptively, based on the current time, and updates factor matrices (i.e., outputs of CP decomposition) instantly as new data arrives. We show, theoretically and experimentally, that SLICENSTITCH is (1) 'Any time': updating factor matrices immediately without having to wait until the current time period ends, (2) Fast: with constant-time updates up to 464x faster than online methods, and (3) Accurate: with fitness comparable (specifically, 72 ~ 100%) to offline methods.

研究の動機と目的

• 従来のテンソルモデルが時間周期ごとに一度しか更新しないという制限を解消し、ストリーミングデータのリアルタイム分析を可能にすること。
• 時間変化するスパーステンソルに対して、モデルパラメータを増加させることなく、継続的かつ低レイテンシのCP分解を実現すること。
• 固定周期の境界を待たずに、各データエントリの変更に応じて要因行列を即座に更新するオンラインアルゴリズムを提供すること。
• オフラインCPDと同等の高い近似適合度を維持しながら、更新レイテンシを大幅に削減すること。
• 異常検知や株価予測などの時間的に重要な応用に適したスケーラブルで効率的なソリューションを提供すること。

提案手法

• 各時間周期の開始時刻を現在時刻に動的に適応させる連続的テンソルモデルを提案し、新規データの即時統合を可能にする。
• 各個々のエントリ変更に応じて要因行列を更新するイベント駆動型オンラインCPDアルゴリズムを導入し、周期単位での更新ではなく個別エントリに応じた更新を実現する。
• 現在時刻に適応するスライディングウィンドウ機構を採用し、固定周期境界を待つ必要を排除する。
• スパーステンソル表現と効率的な更新ルールを用いて、大規模データでも1更新あたり定数時間計算量を維持する。
• 細粒度の時間分解能であってもパラメータ数を低く保てる、新しいパrameterization戦略を適用する。
• 動的ウィンドウリング方式を実装し、ストリーミング環境下でも高い適合度と低い計算オーバーヘッドを実現する。

実験結果

リサーチクエスチョン

• RQ1 固定時間周期を待たずに、スパーステンソルストリームに対して連続的なCP分解が可能か？
• RQ2 オンラインCPDアルゴリズムは、オフライン手法と同等の近似品質を維持しながら、ほぼ即時の更新が可能か？
• RQ3 提案された連続的テンソルモデルは、極めて細粒度の離散モデルで見られる適合度の低下とパラメータの爆発を緩和できるか？
• RQ4 連続的CPDにおける更新速度と近似適合度のトレードオフは何か？
• RQ5 提案手法は、多様な実世界のスパーステンソルストリームにおいて、効率的にスケーリング可能か？

主な発見

• SliceNStitch は、既存のオンラインCPD手法と比較して、最大464倍の高速な更新時間を達成し、1更新あたり定数時間計算量を維持している。
• 実世界のデータセットにおいて、リアルタイム更新にもかかわらず、オフラインCPDの72～100％の適合度を維持している。
• 時間ウィンドウの開始時刻を動的に適応させることで、極めて細粒度の離散モデルで見られる適合度の低下とパラメータの爆発を回避している。
• フレームワークにより真のリアルタイム分析が可能となり、ニューヨークタクシー・データセットでは、異常発生後0.0015秒以内に検出が可能であり、ベースラインと比較して1,000倍以上高速である。
• 実験から、速度と適合度の明確なトレードオフが確認され、実用応用に応じたハイパーパramータのチューニングが可能である。
• 本手法は、スパーステンソルストリームにおける個々のデータエントリの変更に即座に要因行列を更新できる、最初の連続的テンソルモデルとオンラインアルゴリズムを提供している。