[論文レビュー] Tensor network ranks

Ke Ye, Lek‐Heng Lim|arXiv (Cornell University)|Jan 8, 2018

Tensor decomposition and applications参考文献 30被引用数 22

ひとこと要約

本稿では、非有向グラフに基づく一般化されたテンソルランクの概念、すなわちGランクを導入し、古典的ランク（テンソルランク、多重線形ランクなど）を拡張する。関数、行列、またはテンソルが特定のグラフGに対しては古典的ランクが高くてもGランクが低い場合があることが示され、テンソルネットワーク（例えばテンソルトレインやPEPS）が低Gランク構造の特別なケースであることが明らかになった。これにより、近似や次元削減において顕著な計算的利点が得られる。

ABSTRACT

In problems involving approximation, completion, denoising, dimension reduction, estimation, interpolation, modeling, order reduction, regression, etc, we argue that the near-universal practice of assuming that a function, matrix, or tensor (which we will see are all the same object in this context) has \emph{low rank} may be ill-justified. There are many natural instances where the object in question has high rank with respect to the classical notions of rank: matrix rank, tensor rank, multilinear rank --- the latter two being the most straightforward generalizations of the former. To remedy this, we show that one may vastly expand these classical notions of ranks: Given any undirected graph $G$, there is a notion of $G$-rank associated with $G$, which provides us with as many different kinds of ranks as there are undirected graphs. In particular, the popular tensor network states in physics (e.g., extsc{mps}, extsc{ttns}, extsc{peps}) may be regarded as functions of a specific $G$-rank for various choices of $G$. Among other things, we will see that a function, matrix, or tensor may have very high matrix, tensor, or multilinear rank and yet very low $G$-rank for some $G$. In fact the difference is in the orders of magnitudes and the gaps between $G$-ranks and these classical ranks are arbitrarily large for some important objects in computer science, mathematics, and physics. Furthermore, we show that there is a $G$ such that almost every tensor has $G$-rank exponentially lower than its rank or the dimension of its ambient space.

研究の動機と目的

• 物理学および応用数学におけるテンソルネットワークの明確な数学的基盤の欠如に取り組む。
• 関数やテンソルが低古典的ランク（例えば行列ランク、テンソルランク、多重線形ランク）であるという、広く用いられているがしばしば正当化されていない仮定に挑戦する。
• グラフに基づくランク（Gランク）を用いたテンソルネットワーク近似の統一的枠組みを提案し、古典的ランクの概念を一般化する。
• 特定の重要なクラスのテンソルに対して、Gランクが古典的ランクよりも指数的に小さくなることを示す。
• Gランクが近似、欠損補完、次元削減のタスクにおいて、古典的ランクよりもより柔軟かつ効果的な代替手段であることを確立する。

提案手法

• 任意の非有向グラフGに対して、Gランクを定義し、各ノードがテンソル分解における要因に対応する。
• 特定のグラフGに対して、テンソルネットワーク状態（例：MPS、TT、PEPS）をGランク分解の特定のインスタンスとして構築する。
• 外積、和、および縮約といった多重線形代数演算を用いて、Gランク分解を形式的に定義する。
• 任意のグラフGに対して、古典的ランクは非常に大きくてもGランクが非常に小さいテンソルが存在することを証明し、古典的ランクとGランクの差を示す。
• 特定のグラフGに対して、ほとんどすべてのテンソルがその環境次元や古典的ランクよりもGランクが指数的に小さくなることを示す。
• 代数幾何学およびテンソル分解理論（例：セグレ多様体、接続多様体）を用いて、Gランク集合と古典的ランク集合が等しくないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 古典的テンソルランクの概念を一般化することで、低ランク近似のためのより柔軟で正当化可能な枠組みを提供できるか？
• RQ2 自然なテンソルクラスに対して、Gランクが古典的テンソルランクや多重線形ランクよりもどの程度指数的に小さくなるか？
• RQ3 テンソルネットワーク状態（例：MPS、PEPS）が、古典的ランクが高いために実際にはどれほど効果的なのか？
• RQ4 あるグラフGに対して、低Gランクを持つテンソルの集合が、任意の古典的ランク構造集合（例：ランク ≤ (r₁,r₂,r₃)）と等しくないようなGが存在するか？
• RQ5 Gランクが、現在物理的直感やヒューリスティクスに依存しているテンソルネットワークの数学的基盤を明確にできるか？

主な発見

• 特定のグラフGに対して、古典的ランク（行列、テンソル、多重線形ランク）が任意に大きくてもGランクが任意に小さいテンソルが存在する。
• 特定のグラフGに対して、一般のテンソルのGランクは、その環境次元や古典的ランクよりも指数的に小さくなることがある。
• 多重線形ランク ≤ (2,2,2) であるテンソルの集合は、任意の3ノードを持つグラフGに対するY_{r₁,r₂,r₃}（Gランク集合）と等しくないことを示し、Gランクが古典的ランクとは厳密に異なる低ランク構造クラスを定義することを証明した。
• テンソルトレイン（TT）、行列積状態（MPS）、投影エンタングルドペア状態（PEPS）などのテンソルネットワーク状態は、すべて特定のグラフGに対する低Gランク関数の特別なケースである。
• 2×2行列乗算の構造テンソルの多重線形ランクは(2,4,2)であるが、その境界ランクは7である。これは、古典的ランク測定値が最適から大きく離れている可能性を示している。
• あるパラメータs₁,s₂,s₃が存在し、多重線形ランク ≤ (s₁,s₂,s₃) であるテンソルの集合が、いかなるグラフGに対してもGランク集合と等しくないことを示し、Gランクが独自の低ランク構造を捉えていることを証明した。