[論文レビュー] Online nonnegative CP-dictionary learning for Markovian data

Hanbaek Lyu, Christopher Strohmeier+1 more|arXiv (Cornell University)|Sep 16, 2020

Tensor decomposition and applications被引用数 14

ひとこと要約

本稿では、マルコフ連鎖の仮定の下で、ストリーミングテンソルデータに対するオンライン非負CP辞書学習アルゴリズムを提案する。非負性制約と非一様性・スパarsityの仮定なしに、目的関数の定常点への収束を保証する。標準的な非負テンソル因子分解よりも高速な収束を達成し、入力データのモードを柔軟に再形状することで、テンソル構造を活用し、質的に異なるCP辞書の学習を可能にする。

ABSTRACT

Online Tensor Factorization (OTF) is a fundamental tool in learning low-dimensional interpretable features from streaming multi-modal data. While various algorithmic and theoretical aspects of OTF have been investigated recently, a general convergence guarantee to stationary points of the objective function without any incoherence or sparsity assumptions is still lacking even for the i.i.d. case. In this work, we introduce a novel algorithm that learns a CANDECOMP/PARAFAC (CP) basis from a given stream of tensor-valued data under general constraints, including nonnegativity constraints that induce interpretability of the learned CP basis. We prove that our algorithm converges almost surely to the set of stationary points of the objective function under the hypothesis that the sequence of data tensors is generated by an underlying Markov chain. Our setting covers the classical i.i.d. case as well as a wide range of application contexts including data streams generated by independent or MCMC sampling. Our result closes a gap between OTF and Online Matrix Factorization in global convergence analysis \commHL{for CP-decompositions}. Experimentally, we show that our algorithm converges much faster than standard algorithms for nonnegative tensor factorization tasks on both synthetic and real-world data. Also, we demonstrate the utility of our algorithm on a diverse set of examples from image, video, and time-series data, illustrating how one may learn qualitatively different CP-dictionaries from the same tensor data by exploiting the tensor structure in multiple ways.

研究の動機と目的

• ストリーミングテンソルデータから解釈可能な非負CP辞書を学習するオンラインアルゴリズムの開発。
• マルコフ連鎖データの仮定の下で、目的関数の定常点への確実収束を確立すること。
• オンライン行列因子分解とオンラインテンソル因子分解のCP分解における、グローバル収束解析のギャップを埋めること。
• テンソルモードの任意の再形状を許容することで、マルチモーダルデータの柔軟なモデリングを可能にし、異なる構造的パターンを抽出すること。
• 合成データおよび実世界の画像、動画、時系列データにおいて、優れた収束速度と有効性を示すこと。

提案手法

• 非負テンソル値のストリーミングデータ列に対して、確率的勾配降下法を用いてCP辞書を段階的に更新する。
• 学習されたランク1テンソルアトムの解釈可能性を保証するため、すべての要因行列に非負性制約を課す。
• データテンソルがマルコフ連鎖に従うと仮定し、i.i.d.の場合を一般化し、MCMCおよび独立サンプリングを含む。
• 入力テンソルモードの任意の再形状（例：時間と測定値を組み合わせる、都市と時間を組み合わせる）を許容し、CP分解を通じてモデル化される構造的依存関係を制御する。
• 収束を保証するため、徐々に小さくなるステップサイズルールを用い、要因行列を順番またはランダムに更新する。
• 理論的分析により、マルコフ連鎖にやや厳しい条件を課した場合でも、目的関数の定常点の集合への確実収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 非一様性やスパarsityの仮定なしに、一般のデータ仮定の下でオンライン非負CP辞書学習を収束可能にすることができるか？
• RQ2 ストリーミングデータにおいて、標準的な非負テンソル因子分解と比較して、このアルゴリズムの収束速度はどの程度か？
• RQ3 CP辞書学習の前段階でテンソルモードの再順序や再形状を施すことで、マルチモーダルデータの異なる構造的パターンをどの程度捉えることができるか？
• RQ4 データストリームがi.i.d.サンプリングではなくマルコフ過程によって生成される場合でも、アルゴリズムは収束保証を維持するか？
• RQ5 同じデータが、学習前のテンソルの再形状の仕方によって、質的に異なる解釈可能なCP辞書をもたらすか？

主な発見

• 提案されたアルゴリズムは、データテンソルがマルコフ連鎖に従うという仮定の下で、目的関数の定常点の集合への確実収束を示す。
• 合成データおよび実世界のデータセットにおいて、標準的な非負テンソル因子分解アルゴリズムよりも著しく高速な収束を達成する。
• 学習前の入力テンソルの再形状により、質的に異なるCP辞書を抽出可能である：1つは時間的・空間的パターンの同時抽出、もう1つは測定値固有のダイナミクス、3つ目は都市固有の時間的変化を捉える。
• 気象データから、解釈可能なCP辞書アトムを効果的に学習可能であり、再形状戦略の違いにより、都市および測定値ごとの24時間の気象変化の異なる表現が得られる。
• i.i.d.の場合を一般化し、MCMCサンプリングや独立サンプリングを含む広範なデータ生成プロセスに適用可能であり、追加の仮定を必要としない。
• 理論的結果により、オンライン行列因子分解とオンラインテンソル因子分解のCP分解における収束解析の主要なギャップが埋められた。