[논문 리뷰] Symmetric tensor decomposition

Jérôme Brachat, Pierre Comon외 2명|arXiv (Cornell University)|2009. 01. 23.

Tensor decomposition and applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 동차 다항식과 헨켈 연산자 간의 이중성에 기반하여 대칭 텐서 분해를 위한 새로운 알고리즘을 제안한다. 이를 통해 일반화된 고유값 문제를 통한 정확한 랭크-1 분해 계산이 가능해지며, 전역 수렴을 보장하고 하위 일반적인 랭크를 다룰 수 있다. 이는 ALS와 같은 반복적 접근 방식의 한계를 극복한다.

ABSTRACT

We present an algorithm for decomposing a symmetric tensor, of dimension n and order d as a sum of rank-1 symmetric tensors, extending the algorithm of Sylvester devised in 1886 for binary forms. We recall the correspondence between the decomposition of a homogeneous polynomial in n variables of total degree d as a sum of powers of linear forms (Waring's problem), incidence properties on secant varieties of the Veronese Variety and the representation of linear forms as a linear combination of evaluations at distinct points. Then we reformulate Sylvester's approach from the dual point of view. Exploiting this duality, we propose necessary and sufficient conditions for the existence of such a decomposition of a given rank, using the properties of Hankel (and quasi-Hankel) matrices, derived from multivariate polynomials and normal form computations. This leads to the resolution of polynomial equations of small degree in non-generic cases. We propose a new algorithm for symmetric tensor decomposition, based on this characterization and on linear algebra computations with these Hankel matrices. The impact of this contribution is two-fold. First it permits an efficient computation of the decomposition of any tensor of sub-generic rank, as opposed to widely used iterative algorithms with unproved global convergence (e.g. Alternate Least Squares or gradient descents). Second, it gives tools for understanding uniqueness conditions, and for detecting the rank.

연구 동기 및 목표

• 기존 반복적 방법에서 수렴 보장을 보장하지 못하는 문제를 해결하기 위해 대칭 텐서 분해를 위한 전역 수렴 알고리즘을 개발한다.
• 이원형 다항식에 대한 실베스터의 고전적 알고리즘을 고차원 대칭 텐서로 확장한다.
• 주어진 랭크에 대한 대칭 텐서 분해의 존재를 보장하는 필요 및 충분 조건을 헨켈 행렬 랭크 조건을 통해 제시한다.
• 대수기하학과 정규형 계산을 통해 분해 랭크와 유일성 조건을 정확히 계산할 수 있도록 한다.
• 완전한 모멘트 데이터가 확보되지 않은 경우에도 분해가 가능하도록, 트렁케이티드 헨켈 문제를 효율적으로 해결한다.

제안 방법

• 대칭 텐서 분해 문제를 이중 문제로 재구성한다: 서로 다른 점에서의 평가값의 선형 조합으로서 선형 형식을 분해하는 것.
• 아폴라르 이중성과 고레스타인 대수의 구조를 활용하여 텐서를 모멘트 행렬에 의해 정의된 몫대수와 연결한다.
• 다변수 다항식의 모멘트로부터 헨켈 및 준-헨켈 행렬을 구성하며, 항목은 텐서 성분에서 유도된다.
• 곱셈 연산자 간의 가환성 조건(M_xi M_xj = M_xj M_xi)을 행렬 방정식을 통해 강제하여, 알려지지 않은 항목을 위한 이차 방정식계를 도출한다.
• 일반화된 고유값 문제 (Δ₁ - λΔ₀)X = 0를 풀어 분해에 해당하는 선형 형식의 근을 복구한다.
• 과잉 제약 조건을 가진 선형 시스템을 활용하여 최종 분해에서 랭크-1 항의 계수를 계산한다.

실험 결과

연구 질문

• RQ1 임의의 순서와 차원을 가진 대칭 텐서는 반복 히우리스틱에 의존하지 않고 정확하고 전역적으로 분해될 수 있는가?
• RQ2 주어진 랭크 r에 대한 대칭 텐서 분해의 존재에 필요한 필요 및 충분 조건은 무엇인가?
• RQ3 대수적 및 선형대수적 도구를 통해 대칭 텐서의 랭크를 어떻게 탐지하고 유일하게 결정할 수 있는가?
• RQ4 완전한 모멘트 데이터가 확보되지 않은 경우 트렁케이티드 헨켈 문제를 효과적으로 해결할 수 있는가?
• RQ5 제안된 알고리즘의 산술적 및 부울 연산 기준으로 복잡도는 어떻게 되는가?

주요 결과

• 알고리즘은 반복적 방법(예: ALS 또는 경사하강법)에서 기인하는 수렴 문제를 피하면서도, 하위 일반적인 랭크의 대칭 텐서 분해를 정확히 계산한다.
• 이를 위해 텐서의 모멘트에서 유도된 헨켈 행렬의 랭크 분석을 통해 실제 랭크를 탐지한다.
• 주어진 예시에서 알고리즘은 3변수 4차 텐서를 복소수 쌍의 복소수 쌍을 포함한 6개의 랭크-1 항으로 성공적으로 분해하였다.
• 분해 결과는 일반화된 고유값 문제를 풀어 6개의 고유벡터를 얻음으로써 검증되었으며, 이는 선형 형식의 근과 대응되었다.
• 곱셈 연산자 간의 가환성 제약 조건에서 유도된 저차수 다항식 시스템을 풀어 비일반적인 경우를 다룰 수 있다.
• 관련 고레스타인 대수와 헨켈 연산자의 구조를 통해 유일성 조건을 완전히 특성화한다.