[論文レビュー] Tensor rank and the ill-posedness of the best low-rank approximation problem

Vin de Silva, Lek‐Heng Lim|ArXiv.org|Jul 26, 2006

Tensor decomposition and applications参考文献 51被引用数 8

ひとこと要約

この論文は、3次以上のテンソルに対する最良の低ランク近似問題が根本的に不適切であることを示しており、最適近似が多くのテンソルおよびランクに対して存在しない可能性がある。本稿では、この問題を克服するため弱解を提案し、ランク2、次数3テンソルの弱解を完全に特徴づけ、ハイパードテルミナントを用いてテンソルランクを多項式不等式で記述できることを示している。

ABSTRACT

There has been continued interest in seeking a theorem describing optimal low-rank approximations to tensors of order 3 or higher, that parallels the Eckart-Young theorem for matrices. In this paper, we argue that the naive approach to this problem is doomed to failure because, unlike matrices, tensors of order 3 or higher can fail to have best rank-r approximations. The phenomenon is much more widespread than one might suspect: examples of this failure can be constructed over a wide range of dimensions, orders and ranks, regardless of the choice of norm (or even Bregman divergence). Moreover, we show that in many instances these counterexamples have positive volume: they cannot be regarded as isolated phenomena. In one extreme case, we exhibit a tensor space in which no rank-3 tensor has an optimal rank-2 approximation. The notable exceptions to this misbehavior are rank-1 tensors and order-2 tensors. In a more positive spirit, we propose a natural way of overcoming the ill-posedness of the low-rank approximation problem, by using weak solutions when true solutions do not exist. In our work we emphasize the importance of closely studying concrete low-dimensional examples as a first step towards more general results. To this end, we present a detailed analysis of equivalence classes of 2-by-2-by-2 tensors, and we develop methods for extending results upwards to higher orders and dimensions. Finally, we link our work to existing studies of tensors from an algebraic geometric point of view. The rank of a tensor can in theory be given a semialgebraic description; i.e., can be determined by a system of polynomial inequalities. In particular we make extensive use of the 2-by-2-by-2 hyperdeterminant.

研究の動機と目的

• 3次以上のテンソルに対する最良の低ランク近似の存在を調査し、このような近似が常に存在すると仮定することを問い直す。
• 最良のランク-r近似が存在しないことは、孤立した事象ではなく、テンソル空間において正の体積を占めることを示す。
• 不適切な低ランク近似問題に対する解決策として、弱解を提案し、その特徴づけを行う。
• 特に2×2×2の場合を分析することで、ハイパードテルミナントを用いた多項式不等式によるテンソルランクの半代数的記述を提供する。
• 低次元テンソル空間からの結果を高次元に持ち上げるための還元技術を開発する。

提案手法

• 任意のノルムやBrègman発散の選択に関わらず、k ≥ 3次、r ≥ 2ランクのテンソルに対して最良ランク-r近似問題が不適切であることを証明する。
• ランク写像の上半連続性と射影作用素の連続性を用いて、最良近似を持たないテンソルの集合が正の体積を有することを示す。
• 収束先が真のランク-rテンソルでない、ランク-rテンソルの列の極限として弱解の概念を導入する。
• ハイパードテルミナントΔとランク2テンソル多様体の閉包の構造を用いて、ランク2、次数3テンソルの弱解を特徴づける。
• Tarski–Seidenberg定理を適用して、テンソルランクが多項式不等式による半代数的記述を有することを示す。
• 2×2×2テンソルの明示的解析を用いて、高次元・高次数の場合への一般化結果と還元技術を導出する。

実験結果

リサーチクエスチョン

• RQ1 3次以上のテンソルに対して、最良ランク-r近似は常に存在するのか？
• RQ2 最良低ランク近似を持たないテンソルの集合が、テンソル空間において正の体積を占めることを示せるか？
• RQ3 真の最小化子が存在しない場合に、意味のある代替近似を定義することは可能か？
• RQ4 テンソルランクは有限個の多項式不等式系で記述可能か？
• RQ5 低次元テンソル空間（例：2×2×2）からの結果を、高次元・高次数に拡張する方法は何か？

主な発見

• 任意のノルムやBrègman発散に関わらず、k ≥ 3次、r ≥ 2ランクのテンソルに対して最良低ランク近似問題は不適切である。
• 最良ランク-r近似を持たないテンソルの集合は正の体積を有しており、これはそのような失敗がまれまたは孤立したものではないことを意味する。
• ランク2、次数3テンソルの場合、弱解が存在し、ハイパードテルミナントΔとランク2多様体の閉包を用いて完全に特徴づけられる。
• R^{2×2×2}におけるテンソルランクは、ハイパードテルミナントΔの符号を用いた半代数的記述を有し、これはテンソル成分における4次多項式である。
• ランク2テンソル多様体への射影写像は、その多様体の閉包上で連続であり、弱解を多様体内の列の極限として構成可能である。
• キーメトリックおよび代数的性質を保つ還元技術を用いて、結果を高次元・高次数テンソルに拡張可能である。