[論文レビュー] Grassmannian Optimization for Online Tensor Completion and Tracking in the t-SVD Algebra.

Kyle Gilman, Laura Balzano|arXiv (Cornell University)|Jan 30, 2020

Tensor decomposition and applications参考文献 46被引用数 6

ひとこと要約

本稿では、t-SVD代数的枠組み内でのGrassmann多様体最適化を用いた、オンラインテンソル補完および追跡のためのストリーミングアルゴリズムであるTOUCANを提案する。本手法はGrassmann多様体上の段階的勾配降下法を活用することで、線形計算量と定数メモリを達成し、高頻度に欠損する2次元ストリーミングデータからの低チューブランクテンソルの効率的回復を可能にし、限られたサンプリング条件下での時系列化学センシングおよびMRIデータにおいて実証された成功を示している。

ABSTRACT

We propose a new streaming algorithm, called TOUCAN, for the tensor completion problem of imputing missing entries of a low-tubal-rank tensor using the recently proposed tensor-tensor product (t-product) and tensor singular value decomposition (t-SVD) algebraic framework. We also demonstrate TOUCAN's ability to track changing free submodules from highly incomplete streaming 2-D data. TOUCAN uses principles from incremental gradient descent on the Grassmann manifold of subspaces to solve the tensor completion problem with linear complexity and constant memory in the number of time samples. We compare our results to state-of-the-art tensor completion algorithms in real applications to recover temporal chemo-sensing data and MRI data under limited sampling.

研究の動機と目的

• ストリーミング環境下で欠損する要素を有する低チューブランクテンソルの補完という課題に対処すること。
• 極めて不完全な2次元ストリーミングデータストリームにおける変化するサブモジュールのリアルタイム追跡を可能にすること。
• 時間サンプル数に対して線形計算量と定数メモリ使用量を有する手法の開発。
• 限られたサンプリング条件下での実世界の時系列化学センシングおよびMRIデータにおけるテンソル補完性能の向上。

提案手法

• TOUCANは、低ランクテンソル近似を最適化するためにGrassmann多様体上での段階的勾配降下法を採用している。
• 本手法はテンソル・テンソル積（t-積）を用いるt-SVD代数的枠組み内で動作する。
• 過去のテンソルを保存せずに逐次処理することで、定数メモリフットプリントを維持している。
• テンソル特異値分解（t-SVD）を活用して、低チューブランク近似を効率的に計算している。
• Grassmann多様体最適化により、オンライン学習中の部分空間更新が安定する。
• 各ステップで全テンソルを再計算しないため、線形時間計算量を達成している。

実験結果

リサーチクエスチョン

• RQ1 Grassmann多様体上での段階的最適化は、定数メモリを確保しつつ効率的なオンラインテンソル補完を可能にするか？
• RQ2 高い欠損率を示すストリーミング2次元データにおいて、アルゴリズムは変化するサブモジュールをどれほど効果的に追跡できるか？
• RQ3 実世界の時系列データにおいて、TOUCANは最先端のテンソル補完手法と比較してどの程度の性能を示すか？
• RQ4 t-SVDフレームワークは、ストリーミング環境下でのスケーラブルで正確なテンソル補完をサポートできるか？

主な発見

• TOUCANは線形計算量と定数メモリ使用量を達成し、時間サンプル数の増加に伴い効率的にスケーリングする。
• 本手法は、最先端の手法よりも優れた精度で、高頻度に欠損する観測からの時系列化学センシングデータの回復に成功している。
• 極めて厳しいサンプリング制約下でも、変動するサブモジュールの追跡において、強固な性能を示している。
• 限られたサンプリング条件下でのMRIデータ回復において、既存の手法を上回る性能を発揮している。