[論文レビュー] Randomized Online CP Decomposition

Congbo Ma, Xiaowei Yang+1 more|arXiv (Cornell University)|Jul 21, 2020

Tensor decomposition and applications被引用数 6

ひとこと要約

本稿では、大規模かつ高次元のテンソルのCP分解を高速化するため、ランダム化サンプリングとオンライン学習を組み合わせた新規アルゴリズムであるランダム化オンラインCP分解（ROCP）を提案する。完全なカトライ・ラオ積の明示的構築を回避することで、ROCPはメモリ使用量と計算時間を顕著に削減し、合成データおよび実世界のデータセットにおいて優れた効率性を示しながら、分解の正確性を維持している。

ABSTRACT

CANDECOMP/PARAFAC (CP) decomposition has been widely used to deal with multi-way data. For real-time or large-scale tensors, based on the ideas of randomized-sampling CP decomposition algorithm and online CP decomposition algorithm, a novel CP decomposition algorithm called randomized online CP decomposition (ROCP) is proposed in this paper. The proposed algorithm can avoid forming full Khatri-Rao product, which leads to boost the speed largely and reduce memory usage. The experimental results on synthetic data and real-world data show the ROCP algorithm is able to cope with CP decomposition for large-scale tensors with arbitrary number of dimensions. In addition, ROCP can reduce the computing time and memory usage dramatically, especially for large-scale tensors.

研究の動機と目的

• 大規模テンソルにおける従来のCP分解の計算およびメモリのボトル neck を解消すること。
• オンライン学習の原則を統合することで、リアルタイムまたはストリーミング環境でのテンソル分解を可能にすること。
• CP分解における主要なボトル neck であるカトライ・ラオ積の計算コストを低減すること。
• 任意のモード数を有するテンソルに対しても、正確性を維持したままCP分解をスケーリングすること。
• 実世界および合成の大規模テンソルデータに対して効率的でスケーラブルなソリューションを提供すること。

提案手法

• ROCPアルゴリズムは、カトライ・ラオ積を明示的に計算せずにその近似をランダム化サンプリングで行う。
• 新しいテンソルスライスが到着する度に、オンライン学習フレームワークを用いて要因行列を段階的に更新する。
• 低ランク近似技術を活用して、中間計算の次元を低減する。
• サンプリングされたテンソルエントリ上で確率的勾配降下法を用いて、要因行列を動的に維持・更新する。
• 完全な中間テンソルを格納しないことで、メモリフットプリントを顕著に削減する。
• 各モードをオンライン形式で逐次処理することで、任意の次数のテンソルをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ランダム化サンプリングは、オンラインCP分解における完全なカトライ・ラオ積計算に効果的に置き換え可能か？
• RQ2 大規模テンソルにおいて、標準CP分解と比較してROCPの速度およびメモリ効率はどの程度か？
• RQ3 計算負荷を低減させながら、ROCPはどの程度分解の正確性を維持できるか？
• RQ4 ストリーミングまたはリアルタイム環境において、ROCPは任意のモード数を有するテンソルにスケーリング可能か？
• RQ5 ROCPは合成データおよび実世界のデータにおいて、収束性および再構成誤差の観点でどの程度の性能を示すか？

主な発見

• 完全なカトライ・ラオ積の形成を回避することで、特に大規模テンソルにおいて計算時間が顕著に短縮される。
• 大規模な中間行列を格納しないため、メモリ使用量が顕著に削減される。
• 合成データおよび実世界のデータの両方において、標準CP分解と同等の高い分解正確性を維持する。
• 任意のモード数を有するテンソルに効果的にスケーリング可能であり、複雑で高次元のデータへの応用を可能にする。
• 実験結果から、ROCPはオンラインおよびストリーミング環境で高速な収束性と安定したパフォーマンスを達成している。
• 再構成品質を損なわず、速度およびメモリ効率の両面でベースライン手法を上回っている。