[논문 리뷰] Tensor rank and the ill-posedness of the best low-rank approximation problem

Vin de Silva, Lek‐Heng Lim|ArXiv.org|2006. 07. 26.

Tensor decomposition and applications참고 문헌 51인용 수 8

한 줄 요약

이 논문은 3차 이상의 텐서에 대한 최적의 낮은 질량 근사 문제는 근본적으로 잘 정의되지 않은 문제임을 보여주며, 많은 텐서와 질량에서 최적의 근사가 존재하지 않을 수 있음을 밝힌다. 이 문제를 해결하기 위해 약한 해를 제안하며, 질량 2, 차수 3 텐서에 대한 약한 해를 완전히 특성화하고, 초행렬식을 사용하여 텐서 질량을 다항부등식을 통해 기술할 수 있음을 보여준다.

ABSTRACT

There has been continued interest in seeking a theorem describing optimal low-rank approximations to tensors of order 3 or higher, that parallels the Eckart-Young theorem for matrices. In this paper, we argue that the naive approach to this problem is doomed to failure because, unlike matrices, tensors of order 3 or higher can fail to have best rank-r approximations. The phenomenon is much more widespread than one might suspect: examples of this failure can be constructed over a wide range of dimensions, orders and ranks, regardless of the choice of norm (or even Bregman divergence). Moreover, we show that in many instances these counterexamples have positive volume: they cannot be regarded as isolated phenomena. In one extreme case, we exhibit a tensor space in which no rank-3 tensor has an optimal rank-2 approximation. The notable exceptions to this misbehavior are rank-1 tensors and order-2 tensors. In a more positive spirit, we propose a natural way of overcoming the ill-posedness of the low-rank approximation problem, by using weak solutions when true solutions do not exist. In our work we emphasize the importance of closely studying concrete low-dimensional examples as a first step towards more general results. To this end, we present a detailed analysis of equivalence classes of 2-by-2-by-2 tensors, and we develop methods for extending results upwards to higher orders and dimensions. Finally, we link our work to existing studies of tensors from an algebraic geometric point of view. The rank of a tensor can in theory be given a semialgebraic description; i.e., can be determined by a system of polynomial inequalities. In particular we make extensive use of the 2-by-2-by-2 hyperdeterminant.

연구 동기 및 목표

• 3차 이상의 텐서에 대한 최적의 낮은 질량 근사가 항상 존재한다는 가정을 도전하기 위해, 이러한 근사의 존재성을 조사한다.
• 최적의 질량-r 근사가 존재하지 않는다는 것은 고립된 현상이 아니며, 텐서 공간 내에서 양의 체적을 가진다는 것을 보여준다.
• 잘 정의되지 않은 낮은 질량 근사 문제를 해결하기 위해 약한 해를 제안하고 특성화한다.
• 특히 2×2×2 경우를 분석하여 초행렬식을 사용한 다항부등식을 통한 텐서 질량의 실대수기하학적 기술을 제공한다.
• 낮은 차원의 텐서 공간에서의 결과를 고차원 및 고차수의 경우로 확장할 수 있는 감소 기법을 개발한다.

제안 방법

• 모든 노름 또는 Brègman 발산의 선택에 관계없이, k ≥ 3차 텐서와 r ≥ 2 질량에 대해 최적의 질량-r 근사 문제의 잘못 정의됨을 증명한다.
• 질량 함수의 상부 반연속성과 투영 연산자의 연속성을 사용하여, 최적의 근사를 갖지 못하는 텐서의 집합이 양의 체적을 가짐을 보인다.
• 수렴이 진정한 질량-r 텐서로 이르지 못하는 질량-r 텐서의 수열의 극한으로서 약한 해의 개념을 도입한다.
• 초행렬식 Δ과 질량-2 텐서 다양체의 클로처 구조를 사용하여 질량 2, 차수 3 텐서에 대한 약한 해를 특성화한다.
• Tarski–Seidenberg 정리를 적용하여, 다항부등식을 통한 텐서 질량의 실대수기하학적 기술이 가능하다는 것을 보인다.
• 2×2×2 텐서의 명시적 분석을 통해 고차수 및 고차원의 경우에 대한 일반 결과와 감소 기법을 유도한다.

실험 결과

연구 질문

• RQ1 3차 이상의 텐서에 대해 최적의 질량-r 근사가 항상 존재하는가?
• RQ2 최적의 낮은 질량 근사가 존재하지 않는 텐서의 집합이 텐서 공간 내에서 양의 체적을 가짐을 입증할 수 있는가?
• RQ3 진정한 최소화자가 존재하지 않을 경우, 의미 있는 대체 근사(약한 해)를 정의할 수 있는가?
• RQ4 텐서 질량을 유한한 다항부등식 시스템으로 기술할 수 있는가?
• RQ5 낮은 차원의 텐서 공간(예: 2×2×2)에서의 결과를 고차원 및 고차수로 어떻게 확장할 수 있는가?

주요 결과

• 모든 노름 또는 Brègman 발산의 선택에 관계없이, k ≥ 3차 텐서와 r ≥ 2 질량에 대해 최적의 낮은 질량 근사 문제의 잘못 정의됨이 입증된다.
• 최적의 질량-r 근사를 갖지 못하는 텐서의 집합은 양의 체적을 가지며, 이는 이러한 실패가 드문 일탈이 아니라는 것을 의미한다.
• 질량 2, 차수 3 텐서의 경우, 약한 해가 존재하며 초행렬식 Δ과 질량-2 다양체의 클로처를 사용하여 완전히 특성화된다.
• R^{2×2×2}에서의 텐서 질량은 초행렬식 Δ의 부호를 통해 실대수기하학적으로 기술될 수 있으며, 이는 텐서 성분에 대한 4차 다항식이다.
• 질량-2 텐서 다양체 위로의 투영 사상은 다양체의 클로처 위에서 연속적이며, 이는 다양체 내 수열의 극한으로서 약한 해를 구성할 수 있음을 가능하게 한다.
• 핵심 기하학적 및 대수적 성질을 유지하는 감소 기법을 통해 결과는 고차수 및 고차원 텐서로 확장될 수 있다.