[論文レビュー] Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|Sep 6, 2018

Tensor decomposition and applications参考文献 23被引用数 7

ひとこと要約

本稿では、スパースな外れ値を同時に同定し、自動的にテンソルランクを決定し、リアルタイムで低ランク構造を適合する、ロバストなストリーミングテンソル因子分解および補完のための変分ベイズ推論フレームワークを提案する。ストリーミングテンソルを低ランク成分と時変するスパース成分の和としてモデル化し、共役事前分布を用いることで、動的MRIおよびネットワークトラフィックデータにおいて、既存のストリーミングアルゴリズムよりも優れた精度とロバスト性を達成する。

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents a Bayesian robust streaming tensor factorization model to identify sparse outliers, automatically determine the underlying tensor rank and accurately fit low-rank structure. We implement our model in Matlab and compare it with existing algorithms on tensor datasets generated from dynamic MRI and Internet traffic.

研究の動機と目的

• 固定ランク仮定に依存する既存のストリーミングテンソル因子分解手法の限界に対処する。これには、外れ値に対して感受性が高く、過学習を引き起こしやすいという問題がある。
• ストリーミング中に自動的にテンソルランクを決定可能にする。手動でのランク選択の必要性を排除する。
• ベイズ階層モデルを用いて、ストリーミングマルチウェイデータにおける低ランク構造とスパース外れ値を同時にモデル化する。
• ノイズや欠損データの多い状況下でも、テンソル補完および因子分解タスクにおけるロバスト性と精度を向上させる。
• 動的医療画像やネットワーク監視などのリアルタイム応用に適した、スケーラブルかつオンライン推論フレームワークを開発する。

提案手法

• CP分解フレームワークを用いて、ストリーミングテンソルを低ランク成分と時変するスパース成分の和としてモデル化する。
• ノイズ精度と成分分散に逆ガンマ分布およびガンマ分布を用いた階層ベイズ的事前分布を適用し、自動ランク推定を可能にする。
• 変分ベイズ推論を用いて潜在因子の事後分布を近似し、スライディングウィンドウと忘れ係数を用いたオンライン更新を実現する。
• 到着する新しいデータに適応するため、減衰係数 μ = 0.98 を用いた忘れ機構を組み込む。
• 平均場近似を用いて、因子行列、ノイズ精度、およびスパarsityパラメータの事後分布の閉形式更新式を導出する。
• MATLABでアルゴリズムを実装し、ウィンドウサイズ20を採用。効率的なテンソル再構成のため、一般化内積およびカトリ＝ラオ積を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイズ的ストリーミングテンソル因子分解モデルは、事前の知識なしに、内在するテンソルランクを自動的に同定できるか？
• RQ2 スパース成分を含めることで、標準的な最小二乗法と比較して、ストリーミングテンソルデータにおける外れ値に対するロバスト性はどのように向上するか？
• RQ3 本手法は、再構成精度および因子分解精度の観点で、既存のストリーミングテンソル因子分解アルゴリズムをどの程度上回るか？
• RQ4 本モデルは、欠損または部分的に観測されたストリーミングテンソルデータを効果的に処理できるか。低ランク構造を維持するとともに、異常を検出できるか？
• RQ5 忘れ係数は、動的環境におけるアルゴリズムの適応性と性能にどのように影響を与えるか？

主な発見

• Abileneネットワークトラフィックデータセットにおいて、本手法はOLSTECおよびOnline-SGDよりも要因分解誤差が著しく低く、10フレームのバーニング期間を経過後、相対予測誤差も低く抑えられた。
• 15%のランダムサンプリングが施された動的心筋MRIデータにおいて、本モデルはノイズと大規模な外れ値の両方を捉えることができ、OLSTECおよびOnline-SGDよりも画像再構成がより正確であった。
• Abileneデータセットで50%のエントリが欠損している状況下でも、アルゴリズムは低再構成誤差を維持し、高いデータ損失下での補完タスクにおけるロバスト性を示した。
• 本モデルは、MRIおよびネットワークトラフィックデータの両方でスパース外れ値を効果的に同定でき、DDoS攻撃や医療画像アーチファクトの検出に不可欠な異常検出に貢献した。
• 変分ベイズフレームワークにより、手動チューニングの必要性が排除され、過学習のリスクも低減された、自動ランク決定が達成された。
• 忘れ係数（μ = 0.98）の使用により、ストリーミングデータの時間的変化に適応しつつ、安定性と精度を維持することができた。