[論文レビュー] Robust Factorization and Completion of Streaming Tensor Data via Variational Bayesian Inference

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|Sep 4, 2018

Tensor decomposition and applications参考文献 31被引用数 6

ひとこと要約

本稿では、リアルタイムで低ランク構造とスパースな外れ値を同時に学習し、自動的にテンソルランクを決定するとともに、ノイズや汚染されたデータに対してもロバストに処理できる変分ベイジアンストリーミングテンソル因子分解モデルを提案する。この手法は、動的MRI、動画、ネットワークトラフィック再構成において、従来の最小二乗法に基づくストリーミングアルゴリズムを上回り、小さなノイズと大きな外れ値の両方を効果的に捉え、適応的ランク選択によって過学習を回避する。

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. In many applications the full tensor is not known, but instead received in a slice-by-slice manner over time. Streaming factorizations aim to take advantage of inherent temporal relationships in data analytics. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents the first Bayesian robust streaming tensor factorization model. Our model successfully identifies sparse outliers, automatically determines the underlying tensor rank and accurately fits low-rank structure. We implement our model in Matlab and compare it to existing algorithms. Our algorithm is applied to factorize and complete various streaming tensors including synthetic data, dynamic MRI, video sequences, and Internet traffic data.

研究の動機と目的

• 従来のストリーミングテンソル因子分解手法が最小二乗フィッティングと固定ランク仮定に依存するという限界に対処すること。これらの手法は外れ値に敏感であり、過学習のリスクを抱えている。
• ストリーミングテンソルデータにおいて、低ランク成分とスパースな外れ値を同時に同定できる確率的モデルを開発すること。
• 事前知識や手動チューニングの必要なしに、ストリーミングプロセス中に自動的にテンソルランクを決定できること。
• 動的MRI、動画シーケンス、ネットワークトラフィックモニタリングなどの実世界の応用において、ノイズと著しい汚染の両方をモデル化することで、テンソル補完の精度を向上させること。
• 時間的に変化するスパarsityと低ランク構造を有するストリーミングテンソルデータに、変分ベイジアン推論を拡張すること。

提案手法

• ベイジアン階層モデルを用いて、ストリーミングテンソルを低ランク成分とスパース外れ値成分の和としてモデル化する。
• 因子行列とスパース成分に重尾分布（例：ラプラス分布やスチューデントのt分布）を事前分布として適用し、低ランク性とスパarsity構造を強制する。
• 変分ベイジアン推論を用いて隠れ因子の事後分布を近似し、新しいテンソルスライスが到着するたびにオンライン更新を可能にする。
• 忘却係数とスライディングウィンドウ機構を導入し、モデルを動的に更新することで、長期的データからの計算負荷を軽減する。
• 変分下界（ELBO）を用いてハイパーパrameterを最適化し、内在するテンソルランクを自動的に推定する。
• MATLABでアルゴリズムを実装し、合成データ、動的MRI、動画シーケンス、インターネットトラフィックデータで検証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンストリーミングテンソル因子分解モデルは、リアルタイムで低ランク構造とスパースな外れ値を同時に同定できるか？
• RQ2 固定ランクモデルと比較して、自動的テンソルランク決定がストリーミング環境での性能にどのように寄与するか？
• RQ3 外れ値と欠損データが存在する状況において、提案手法は最小二乗法に基づくストリーミングアルゴリズムをどの程度上回るか？
• RQ4 3D心臓MRIやマルチモーダルネットワークトラフィックなどの高次元ストリーミングテンソルを効果的に再構成できるか？
• RQ5 忘却係数とスライディングウィンドウ機構は、長期的なストリーミング応用におけるモデルの安定性と精度にどのように影響するか？

主な発見

• 15%の欠損データを伴う動的心臓MRIデータの再構成において、提案アルゴリズムはOLSTECとOnline-SGDを著しく上回り、小さなノイズと大きな外れ値の両方を的確に捉える。
• 3Dマルチモーダル心臓MRIデータセットでは、50%の欠損データに対してもアルゴリズムがテンソル再構成に成功したが、他の手法は高次元テンソルを処理できなかった。
• ネットワークトラフィックモニタリングにおいて、50%の欠損データ下でも相対予測誤差がOLSTECやOnline-SGDを下回った。これは、適応的ランク選択と外れ値に対するロバスト性によるものである。
• 事前の知識なしに内在するテンソルランクを自動的に決定し、固定ランクアプローチで一般的に見られる過学習やアンダーフィッティングを回避した。
• 変分ベイジアン推論フレームワークにより、合成データ、動画、MRI、ネットワークトラフィックを含むすべてのテストストリーミングデータタイプでリアルタイム更新と安定した性能を実現した。
• 忘却係数μ=0.98、スライディングウィンドウサイズ20の設定が、動的環境における応答性と安定性の良好なバランスを提供した。