[論文レビュー] Shape Constrained Tensor Decompositions using Sparse Representations in Over-Complete Libraries

Bethany Lusch, C. Eric+1 more|arXiv (Cornell University)|Aug 16, 2016

Tensor decomposition and applications参考文献 22被引用数 9

ひとこと要約

本稿では、多様なデータの時間的ダイナミクスを、解析的関数の過剰なライブラリ上でスパース回帰を用いてモデル化する、形状制約付きテンソル分解（SCTD）を提案する。時間モードを正弦波や指数関数などの基底関数のスパースな組み合わせに制約することで、データのフラットネーションを回避しつつ、解釈可能で低ランクのテンソル分解を実現し、SVD や標準的な CP 分解では捉えにくい一時的・一時的現象を効果的に捉えることができる。

ABSTRACT

We consider $N$-way data arrays and low-rank tensor factorizations where the time mode is coded as a sparse linear combination of temporal elements from an over-complete library. Our method, Shape Constrained Tensor Decomposition (SCTD) is based upon the CANDECOMP/PARAFAC (CP) decomposition which produces $r$-rank approximations of data tensors via outer products of vectors in each dimension of the data. By constraining the vector in the temporal dimension to known analytic forms which are selected from a large set of candidate functions, more readily interpretable decompositions are achieved and analytic time dependencies discovered. The SCTD method circumvents traditional {\em flattening} techniques where an $N$-way array is reshaped into a matrix in order to perform a singular value decomposition. A clear advantage of the SCTD algorithm is its ability to extract transient and intermittent phenomena which is often difficult for SVD-based methods. We motivate the SCTD method using several intuitively appealing results before applying it on a number of high-dimensional, real-world data sets in order to illustrate the efficiency of the algorithm in extracting interpretable spatio-temporal modes. With the rise of data-driven discovery methods, the decomposition proposed provides a viable technique for analyzing multitudes of data in a more comprehensible fashion.

研究の動機と目的

• N モードデータのマルチウェイ構造を行列にフラットネーションせずに保持するテンソル分解手法の開発。
• 時間モードを既知の解析的形に制約することで、低ランクテンソル分解の解釈可能性を向上させること。
• SVD や標準的な CP 法では捉えにくい、一時的・一時的ダイナミクスを高次元データで検出すること。
• 時間的基底関数のスパース選択を通じて、物理的または動的プロセスのデータ駆動型同定を可能にすること。
• 複雑なデータから解析的時間依存性を抽出することで、予測的・診断的インサイトを提供するフレームワークの構築。

提案手法

• 本手法は、N モードテンソルをランク1成分の和として近似する CANDECOMP/PARAFAC (CP) 分解を用いる。
• 時間モードのベクトルは、候補となる解析的関数の過剰なライブラリからの関数のスパース線形結合に制約される。
• 観測された時間的ダイナミクスに最もよく適合する最小の基底関数集合を特定するために、ℓ₁-正則化を用いたスパース回帰が適用される。
• 最適化は、係数ベクトル（Lasso を用いて）と他の要因行列の更新を交互に繰り返し、低ランク構造を維持する。
• 行列フラットネーションを回避することで、完全なテンソル構造を保持し、空間的・時間的パターンのより正確なモデリングを可能にする。
• 本手法は反復的に実装され、各イテレーションで時間的基底関数の選択と要因行列推定値が改善される。

実験結果

リサーチクエスチョン

• RQ1 過剰なライブラリからの時間関数のスパース選択は、テンソル分解の解釈可能性を向上させることができるか？
• RQ2 SCTD は、従来の SVD や CP 分解よりも、一時的・一時的ダイナミクスをよりよく検出できるか？
• RQ3 時間モードを解析的形に制約することで、より物理的に意味のあるかつ予測可能な低ランク近似が得られるか？
• RQ4 過剰なライブラリと ℓ₁-正則化の使用は、真の時間的ダイナミクスの回復にどのように影響するか？
• RQ5 SCTD は、データのフラットネーションを伴わずに、現実世界の高次元データに効果的に適用可能か？

主な発見

• SCTD は、巨大な過剰なライブラリからわずかに関連のある基底関数を選択することで、解釈可能で解析的な時間的ダイナミクスを効果的に抽出した。
• 本手法は、標準的な CP や SVD を用いたアプローチではしばしば見えにくくなる一時的・一時的現象を効果的に捉えている。
• ℓ₁-正則化を用いたスパース回帰により、データを説明する最小限の情報量を持つ時間関数の集合を特定できる。
• 実世界のデータセット、特に複雑な時間的挙動を示すものにおいて、本手法は従来のテンソル分解手法を上回り、背後にある動的プロセスの同定に優れている。
• 本手法は完全なテンソル構造を維持しており、SVD を用いた手法で生じる統計的不正確さを回避している。
• シミュレーションおよび実世界データに対する実証的結果から、SCTD は標準的な分解手法よりもより診断的かつ予測的インサイトを提供することが示された。