[論文レビュー] Characterization of Deterministic and Probabilistic Sampling Patterns for Finite Completability of Low Tensor-Train Rank Tensor

Morteza Ashraphijuo, Xiaodong Wang|arXiv (Cornell University)|Mar 22, 2017

Tensor decomposition and applications参考文献 29被引用数 5

ひとこと要約

本稿では、低テンソルトレース（TT）ランクテンソルの有限かつ一意の補完を保証する決定的および確率的サンプリングパターンを特徴付ける、新しい代数的幾何フレームワークを提示する。サンプル化されたエントリをTT分解の変数における多項式としてモデル化することで、代数的独立性に基づいた有限補完の必要十分条件を導出し、高い確率で一意的回復を保証する確率的サンプリング境界を確立した。これにより、アンフォールディングベースの手法と比較して、必要なサンプル数を顕著に削減できる。

ABSTRACT

In this paper, we analyze the fundamental conditions for low-rank tensor completion given the separation or tensor-train (TT) rank, i.e., ranks of unfoldings. We exploit the algebraic structure of the TT decomposition to obtain the deterministic necessary and sufficient conditions on the locations of the samples to ensure finite completability. Specifically, we propose an algebraic geometric analysis on the TT manifold that can incorporate the whole rank vector simultaneously in contrast to the existing approach based on the Grassmannian manifold that can only incorporate one rank component. Our proposed technique characterizes the algebraic independence of a set of polynomials defined based on the sampling pattern and the TT decomposition, which is instrumental to obtaining the deterministic condition on the sampling pattern for finite completability. In addition, based on the proposed analysis, assuming that the entries of the tensor are sampled independently with probability $p$, we derive a lower bound on the sampling probability $p$, or equivalently, the number of sampled entries that ensures finite completability with high probability. Moreover, we also provide the deterministic and probabilistic conditions for unique completability.

研究の動機と目的

• 最適化アルゴリズムに依存しない、低TTランクテンソルの有限または一意の補完を保証する基本的なサンプリングパターンの条件を同定すること。
• Grassmannianに基づく既存手法の制限を克服するため、ランクベクトルの構造を完全に捉えるTT特化の代数的幾何的分析を開発すること。
• サンプル化されたエントリからの多項式の代数的独立性に基づいて、有限補完のための決定的必要十分条件を導出すること。
• i.i.d. エントリサンプリング下で、高い確率で有限かつ一意の補完が達成されるための確率的サンプリング境界を提供すること。
• TTアプローチをアンフォールディングベースの手法と比較し、サンプル数の削減における効率性を示すこと。

提案手法

• 各サンプル化されたテンソルエントリを、TT分解テンソルの変数における多項式としてモデル化し、多項方程式系を構築する。
• TT分解の同値類を定義することで、サンプリングパターン全体にわたる代数的独立性の解析を簡略化する。
• サンプリングパターンの幾何的構造を用いて、代数的に独立な多項式の最大数を計算し、これが有限補完を決定する。
• Bernsteinの定理および代数的幾何の道具を用いて、有限および一意の補完に必要なサンプル数の境界を導出する。
• i.i.d. サンプリングにおける十分な代数的独立性を達成する確率を分析することで、確率的サンプリング条件を確立する。確率 $p$ での独立なサンプリングを仮定する。
• Lemma 18 および Theorem 5 の結果を活用し、確率 $1 - \epsilon$ で一意的補完が達成されるような $p$ の高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 与えられたTTランクベクトルに対して、どのような決定的サンプリングパターンが低TTランクテンソルの有限補完を保証するか？
• RQ2 有限補完に加えて、一意的補完を保証するためには、どのような追加のサンプリングパターン制約が必要か？
• RQ3 i.i.d. エントリ選択による確率的サンプリングでは、高い確率で有限または一意の補完が達成されるためにはどのような条件が必要か？
• RQ4 提案されたTTベースの代数的幾何的アプローチは、アンフォールディングベースの手法と比較して、どの程度サンプル効率が優れているか？
• RQ5 確率的サンプリング下で、高い確率で有限または一意の補完を保証するために必要な最小サンプル数はどの程度か？

主な発見

• 提案されたTT多様体上の代数的幾何的解析により、Grassmannianベースの手法が1つのランク成分のみを扱うのに対し、すべてのTTランク成分を同時に考慮できる。
• サンプリングパターンによって生成される代数的に独立な多項式の最大数に基づいて、有限補完の必要十分条件が導出された。
• 一意的補完のためには、変数の完全な決定を保証するように拡張された決定的十分条件が提供される。
• i.i.d. サンプリング確率 $p$ に対して、一意的補完が確率 $1 - \epsilon$ 以上で成立するようにするための下限が導出され、テンソルサイズ $n$、次元 $d$、ランクベクトル $r_k$ に明示的な依存関係を持つ。
• 数値比較により、TTアプローチはアンフォールディングベースの手法と比較して、はるかに少ないサンプル数で十分であることが示された。特に高次元テンソルでは、サンプル効率の優位性が顕著に現れた。
• 一意的補完を保証するための必要なサンプル数は、$n^2 \max\left\{63\log(4n/\epsilon) + 9\log(8M/\epsilon) + 18, 6r_{d-2}\right\}$ で抑えられ、ここで $M = n\sum_{k=1}^{d-2} r_{k-1}r_k - \sum_{k=1}^{d-2} r_k^2$ である。