[論文レビュー] Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning

Sirisha Rambhatla, Xingguo Li+1 more|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 53被引用数 8

ひとこと要約

本稿では、1つの要因が非一貫的かつ固定されており、他の要因がスパースで時間変化する構造的テンソルのCP/PARAFACテンソル分解の、証明可能に収束するオンラインアルゴリズムであるTensorNOODLを提案する。弱い条件下でも、スケーリングおよび置換の意味で正確な回復を線形収束速度で達成でき、ストリーミングデータにおけるスケーラブルでリアルタイムの因子分解を理論的保証とともに実現する。

ABSTRACT

We consider the problem of factorizing a structured 3-way tensor into its constituent Canonical Polyadic (CP) factors. This decomposition, which can be viewed as a generalization of singular value decomposition (SVD) for tensors, reveals how the tensor dimensions (features) interact with each other. However, since the factors are a priori unknown, the corresponding optimization problems are inherently non-convex. The existing guaranteed algorithms which handle this non-convexity incur an irreducible error (bias), and only apply to cases where all factors have the same structure. To this end, we develop a provable algorithm for online structured tensor factorization, wherein one of the factors obeys some incoherence conditions, and the others are sparse. Specifically we show that, under some relatively mild conditions on initialization, rank, and sparsity, our algorithm recovers the factors exactly (up to scaling and permutation) at a linear rate. Complementary to our theoretical results, our synthetic and real-world data evaluations showcase superior performance compared to related techniques. Moreover, its scalability and ability to learn on-the-fly makes it suitable for real-world tasks.

研究の動機と目的

• 異種の要因構造を有する構造的テンソルのオンラインテンソル因子分解に対して、証明可能で不偏かつスケーラブルなアルゴリズムが不足しているという問題に対処すること。
• 1つの要因が非一貫的かつ固定されており、他の要因がスパースで時間変化する環境下で、ストリーミング設定においてテンソル要因の正確な回復を可能にする手法を開発すること。
• 収束保証やオンライン適合性に欠ける非凸的でバイアスがある、あるいは計算コストの高い既存手法の限界を克服すること。
• 初期化、ランク、スパarsityに関する弱い条件下でも、収束性および回復性に関する理論的保証を提供すること。
• スポーツアナリティクス、ウェブ行動分析、バイオメディカル信号処理などの分野におけるリアルタイム学習と推論を可能にすること。

提案手法

• 本手法は、テンソルの非ゼロファイバーが、非一貫的要因が固定辞書として機能する辞書学習フレームワークから生じるとモデル化する。
• テンソル因子分解問題を、データサンプル（ファイバー）がスパース係数による辞書アトムの線形結合として生成されるスパースコーディング問題として定式化する。
• 適応的ステップサイズを用いたオンライン交互最小化戦略を採用し、リアルタイムでスパース要因と非一貫辞書を更新する。
• データにKronecker（Khatri-Rao）構造を活用することで、テンソル固有の依存関係を効果的に活用し、推定精度を向上させる。
• 理論的分析により、辞書の非一貫性および係数のスパarsityといった弱い条件下でも、アルゴリズムが真の要因をスケーリングおよび置換の意味で正確に回復し、線形収束速度を達成することが保証される。
• 初期化は、過去のシーズンからの事前データ（例：前シーズンのデータ）を用いて、頑健な辞書学習アルゴリズムにより実施され、収束の高速化を確保する。

実験結果

リサーチクエスチョン

• RQ1 1つの要因が非一貫的で、他の要因がスパースかつ時間変化する状況において、証明可能なオンラインアルゴリズムがテンソル要因の正確な回復を達成できるか。
• RQ2 初期化、ランク、スパarsityに関する理論的条件は、オンラインテンソル因子分解における線形収束性および正確な回復性を保証するか。
• RQ3 本手法は、既存の非凸的または凸的テンソル因子分解手法と比較して、バイアス、スケーラビリティ、収束保証の観点でどのように異なるか。
• RQ4 本アルゴリズムは、ユーザー・アイテム相互作用がスパースで動的であるNBAシュートパターンのような実世界のストリーミングデータに効果的に適用可能か。
• RQ5 辞書学習定式化は、高次元でスパースなテンソルストリームにおける、頑健でスケーラブルなオンライン学習を可能にするか。

主な発見

• 提案されたTensorNOODLアルゴリズムは、初期化、ランク、スパarsityに関する弱い条件下でも、スケーリングおよび置換の意味でテンソル要因の正確な回復を達成する。
• アルゴリズムは真の要因へ線形収束を示し、合成データおよび実世界の実験の両方で高速かつ安定した収束を示している。
• NBAシュートパターン分析において、本手法は共通のシュート選択パターンに基づいて選手およびチームを効果的にクラスタリングし、既知のスタイル的類似性（例：ジェイムズ・ハーデンとデビン・ブッカー）を裏付ける結果を得た。
• ストリーミングデータにおける精度とスケーラビリティの観点で、ベースライン手法に比べて優れた性能を示した。
• 理論的保証は、ノイズや時間経過に伴うスパース要因の動的変化に対する耐性を示す実験結果によって補完されている。
• オンライン学習と低コストの計算オーバーヘッドのおかげで、本手法はリアルタイムアプリケーション、例えばオンラインスポーツアナリティクスやウェブ行動監視に非常に適している。