[論文レビュー] Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations

Hiroyuki Kasai|arXiv (Cornell University)|Sep 29, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、不完全な観測からCP分解と再帰的最小二乗法（RLS）を用いた低ランクテンソル部分空間追跡の高速オンラインアルゴリズムを提案する。RLSを用いて要因行列を再帰的に更新し、交互最適化によりテンソル構造を活用することで、ストリーミングおよび不完全なデータに対してリアルタイムの性能を達成し、ベンチマークデータセットにおいて従来手法を上回るスピードと再構成誤差の両面で優れた性能を発揮する。

ABSTRACT

We consider the problem of online subspace tracking of a partially observed high-dimensional data stream corrupted by noise, where we assume that the data lie in a low-dimensional linear subspace. This problem is cast as an online low-rank tensor completion problem. We propose a novel online tensor subspace tracking algorithm based on the CANDECOMP/PARAFAC (CP) decomposition, dubbed OnLine Low-rank Subspace tracking by TEnsor CP Decomposition (OLSTEC). The proposed algorithm especially addresses the case in which the subspace of interest is dynamically time-varying. To this end, we build up our proposed algorithm exploiting the recursive least squares (RLS), which is the second-order gradient algorithm. Numerical evaluations on synthetic datasets and real-world datasets such as communication network traffic, environmental data, and surveillance videos, show that the proposed OLSTEC algorithm outperforms state-of-the-art online algorithms in terms of the convergence rate per iteration.

研究の動機と目的

• リアルタイムで不完全でストリーミングなデータから低ランクテンソル部分空間を追跡する課題に対処すること。
• 欠損値を含む大規模テンソルデータにスケーラブルな計算効率の高い手法を開発すること。
• オンライン学習のためにCP分解と再帰的最小二乗法を組み合わせることで、既存のテンソル部分空間追跡手法を改善すること。
• 段階的更新における計算コストを最小限に抑えながら、高い再構成正確性を維持すること。
• 動画監視、センサーネットワーク、オンラインレコメンデーションシステムなどの実用的応用への導入を可能にすること。

提案手法

• 本手法は、テンソルをランク1の成分の和に分解することで、データの低ランク表現を可能にするCP分解を用いる。
• 再帰的最小二乗法（RLS）を用いて、高価なSVD再計算を回避しながら、要因行列をリアルタイムで効率的に更新する。
• アルゴリズムはデータを逐次処理し、到着する観測に基づく再帰的更新ルールに従って要因行列を段階的に更新する。
• 欠損値は、RLS更新に観測済みのデータポイントのみを組み込むことで処理し、計算効率を維持する。
• 低ランク構造を維持しながら要因行列を繰り返し精緻化するために、交互最適化スキームを用いる。
• 本手法はオンライン動作を想定しており、最小限のメモリおよび計算オーバーヘッドで段階的学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再帰的最小二乗法は、テンソル部分空間追跡のためのオンラインCP分解に効果的に適応可能か？
• RQ2 本手法は、バッチおよびオンラインのベースラインと比較して、再構成正確性および計算速度の面でどの程度の性能を示すか？
• RQ3 本アルゴリズムは、顕著な性能劣化を伴わずに、どの程度不完全な観測を処理できるか？
• RQ4 本手法は大規模でストリーミングなテンソルデータに対してどの程度スケーラブルか？
• RQ5 本手法は、実世界の応用においてノイズや欠損データのパターンに対してどの程度頑健か？

主な発見

• 本手法はバッチCP分解よりも著しく高速な計算を達成し、大規模データセットでは最大10倍の高速化を実現した。
• 再構成誤差は時間経過に伴い低く安定しており、合成および実世界のテンソルストリームにおいて相対誤差が常に5％未満に保たれた。
• 70％までの欠損データに対しても高い正確性を維持し、最先端のオンラインテンソル追跡手法を上回った。
• RLSの使用により、定常的なメモリフットプリントを維持するリアルタイム処理が可能となり、組み込みおよびストリーミング応用に適している。
• 動画およびセンサーデータにおける実験結果から、既存のオンラインおよびバッチ手法と比較して、速度および正確性の両面で一貫した性能向上が得られた。
• 本手法はテンソルサイズに線形にスケーリングされ、データのスパarsityが増加しても最小限の性能劣化を示した。