[論文レビュー] Complex tensors almost always have best low-rank approximations

Qi Yang, Mateusz Michałek+1 more|arXiv (Cornell University)|Dec 6, 2017

Tensor decomposition and applications参考文献 17被引用数 2

ひとこと要約

本稿は、複素数体上で、低ランクテンソル近似がほとんど常に一意な最良近似を持つことを証明し、実数テンソルではそのような近似が存在しない場合があるという長年の問題を解決した。複素解析幾何学を用いて、任意の閉非可約複素解析的代数的多様体に対して、環境空間の一般点は、任意の低次元部分多様体の外側に一意な最良近似を持つことを示し、これはランク-$r$近似、ブロック項、スパース＋低ランク分解のほぼ至る所での一意性を意味する。

ABSTRACT

Low-rank tensor approximations are plagued by a well-known problem - a tensor may fail to have a best rank-$r$ approximation. Over $\mathbb{R}$, it is known that such failures can occur with positive probability, sometimes with certainty. We will show that while such failures still occur over $\mathbb{C}$, they happen with zero probability. In fact we establish a more general result with useful implications on recent scientific and engineering applications that rely on sparse and/or low-rank approximations: Let $V$ be a complex vector space with a Hermitian inner product, and $X$ be a closed irreducible complex analytic variety in $V$. Given any complex analytic subvariety $Z \subseteq X$ with $\dim Z < \dim X$, we prove that a general $p \in V$ has a unique best $X$-approximation $\pi_X (p)$ that does not lie in $Z$. In particular, it implies that over $\mathbb{C}$, any tensor almost always has a unique best rank-$r$ approximation when $r$ is less than the generic rank. Our result covers many other notions of tensor rank: symmetric rank, alternating rank, Chow rank, Segre-Veronese rank, Segre-Grassmann rank, Segre-Chow rank, Veronese-Grassmann rank, Veronese-Chow rank, Segre-Veronese-Grassmann rank, Segre-Veronese-Chow rank, and more - in all cases, a unique best rank-$r$ approximation almost always exist. It applies also to block-terms approximations of tensors: for any $r$, a general tensor has a unique best $r$-block-terms approximations. When applied to sparse-plus-low-rank approximations, we obtain that for any given $r$ and $k$, a general matrix has a unique best approximation by a sum of a rank-$r$ matrix and a $k$-sparse matrix with a fixed sparsity pattern; this arises in, for example, estimation of covariance matrices of a Gaussian hidden variable model with $k$ observed variables conditionally independent given $r$ hidden variables.

研究の動機と目的

• 実テンソル分解における最良低ランク近似の非存在という長年の問題を、複素数の場合を考察することで解決すること。
• 複素数体上でのさまざまなテンソルランク概念に対して、最良近似が存在し、かつ一意となる条件を確立すること。
• 標準的ランクを超えて、対称的ランク、交代的ランク、チャウランク、セグレ＝ヴェロネーゼランク、およびブロック項ランクといったランク概念に対しても、最良近似の存在と一意性を一般化すること。
• 統計的モデリングにおけるスパース＋低ランク行列近似といった実用的問題への応用を示すこと。
• 任意の固定されたスパース構造に対して、一般の行列が、低ランク行列とスパース行列の和として一意な最良近似を持つことを示すこと。

提案手法

• 本稿は複素解析幾何学を用い、ヘルミート内積を備えた複素ベクトル空間内の閉非可約複素解析的代数的多様体に焦点を当てる。
• 任意のこのような多様体 $X$ および $\dim Z < \dim X$ を満たす $X$ の真の解析的部分多様体 $Z \subset X$ に対して、$V$ 内の一般点 $p \in V$ は、$Z$ に属さない唯一の最良 $X$-近似を持つことを証明する。
• 主な技術は、非一意的または非存在である最良近似を持つ点の集合が、真の解析的部分多様体に含まれることを示し、したがって測度がゼロであることを示すことにある。
• セグレ、チャウ、またはヴェロネーゼ多様体として特定の複素解析的多様体として扱えるテンソルランクタイプにこの手法を適用する。
• 複素幾何学では一般点が低次元部分多様体を避けることを利用し、最良近似のほぼ確実な一意性を保証する。
• ブロック項やスパース＋低ランクモデルへの応用は、それらの解集合を複素解析的多様体としてモデル化し、一般定理を適用することで可能になる。

実験結果

リサーチクエスチョン

• RQ1 複素テンソルでは、最良低ランク近似が常に存在するのか。そうでない場合、どの程度の頻度で存在しないのか？
• RQ2 対称的、交代的、チャウランクなどのテンソルランク概念において、$\mathbb{C}$ 上で一意な最良近似がほとんど確実に存在するのはどの場合か？
• RQ3 ブロック項やスパース＋低ランク分解の最良近似の存在と一意性は、複素数の設定で保証できるか？
• RQ4 測度論的観点から、複素テンソル近似における非一意性または非存在の確率はどの程度か？
• RQ5 テンソルランク多様体の複素解析的構造は、近似アルゴリズムの一般的挙動にどのように影響するか？

主な発見

• $\mathbb{C}$ 上では、最良ランク-$r$ 近似を持たないテンソルの集合は測度ゼロであるため、そのような失敗は確率ゼロで発生する。
• 一般のテンソルは、一般ランク未満の $r$ に対して、一意な最良ランク-$r$ 近似を持つ。
• この結果は、対称的ランク、交代的ランク、チャウランク、セグレ＝ヴェロネーゼランク、および他のテンソルランク概念に対しても拡張され、$\mathbb{C}$ 上でほとんど確実に一意な最良近似を持つ。
• 任意の順序 $r$ のブロック項近似に対しても、複素数の設定ではほとんどすべてのテンソルに対して一意な最良近似が存在する。
• 固定されたスパース構造を持つスパース＋低ランク近似において、一般の行列は、ランク-$r$ 行列と $k$-スパース行列の和として一意な最良近似を持つ。
• この枠組みは、ガウス型隠れ変数モデルにおける共分散行列推定に応用可能であり、一意な最良近似が統計的整合性とアルゴリズムの安定性を保証する。