[논문 리뷰] On the Nuclear Norm and the Singular Value Decomposition of Tensors

Harm Derksen|arXiv (Cornell University)|2013. 08. 18.

Tensor decomposition and applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 고계 텐서를 위한 새로운 일반화된 특이분해, 즉 대각 특이분해(Diagonal Singular Value Decomposition, DSVD)를 제안하고, 텐서 질량의 볼록 완화로써 핵노름(nuclear norm)을 체계적으로 연구한다. $ n \geq 3 $일 때 행렬식(tensor)과 행렬식의 행렬식(tensor)은 DSVD를 갖지 못하며, 이들의 핵노름과 스펙트럴 노름의 정확한 값을 도출하여, 이 프레임워크 내에서 저질량 분해가 근본적으로 제약을 받는다는 것을 드러낸다.

ABSTRACT

Finding the rank of a tensor is a problem that has many applications. Unfortunately it is often very difficult to determine the rank of a given tensor. Inspired by the heuristics of convex relaxation, we consider the nuclear norm instead of the rank of a tensor. We determine the nuclear norm of various tensors of interest. Along the way, we also do a systematic study various measures of orthogonality in tensor product spaces and we give a new generalization of the Singular Value Decomposition to higher order tensors.

연구 동기 및 목표

• 고계 텐서를 위한 SVD의 새로운 일반화인 대각 특이분해(Diagonal Singular Value Decomposition, DSVD)를 개발하여, 행렬 SVD의 성질을 텐서로 확장한다.
• 텐서의 핵노름을 텐서 질량의 볼록 완화로써 연구하며, 텐서 복원과 저질량 근사 응용에 기반을 둔다.
• 행렬식과 행렬식과 같은 핵심 텐서의 핵노름과 스펙트럴 노름을 정확히 도출하여, 그들의 구조적 복잡성에 대한 통찰을 제공한다.
• 직교성 조건을 분석하고 분해를 위한 필요 조건을 유도하여, DSVD의 존재성과 한계를 조사한다.

제안 방법

• 순수 텐서의 $ 2 $-직교성과 순서된 특이값을 기반으로 한 새로운 텐서 분해 프레임워크인 대각 특이분해(Diagonal Singular Value Decomposition, DSVD)를 제안한다.
• 순수 텐서의 $ r $-튜플에 대해 $ t $-직교성을 정의하여 텐서 곱 공간에서의 직교성의 일반화를 도입하고, DSVD 존재 조건을 설정한다.
• 모든 분해 $ T = \sum v_i $ 에 대해 $ \|v_i\| $ 의 합으로 핵노름을 정의하며, 이 합을 최소화함으로써 노름을 정의한다.
• 정리 1.1과 추론 1.2을 적용하여 핵노름과 스펙트럴 노름 간의 이중성 원리를 활용해 스펙트럴 노름의 상한을 유도한다.
• 행렬식과 행렬식에 대해 일반화된 라플라스 전개를 사용하여 텐서 질량의 하한을 도출한다.
• 차원 수세기와 조합론적 추론을 활용하여 $ \|\operatorname{per}_n\|_* = n^{n/2} $, $ \|\det_n\|_* = n! $, 그리고 $ [\operatorname{per}_n] = n! / n^{n/2} $ 를 증명한다.

실험 결과

연구 질문

• RQ1 행렬식 텐서 $ \det_n $ 는 $ n \geq 3 $ 일 때 대각 특이분해(DSVD)를 갖는가?
• RQ2 행렬식 텐서 $ \operatorname{per}_n $ 는 $ n \geq 3 $ 일 때 DSVD를 갖는가?
• RQ3 행렬식과 행렬식 텐서의 정확한 핵노름과 스펙트럴 노름은 무엇인가?
• RQ4 텐서의 핵노름과 스펙트럴 노름 간의 관계는 무엇이며, 이는 DSVD 존재성에 어떤 제약을 가하는가?
• RQ5 일반화된 라플라스 전개를 사용하여 $ \det_n $ 과 $ \operatorname{per}_n $ 의 텐서 질량에 대해 날카운 하한을 도출할 수 있는가?

주요 결과

• 행렬식 텐서 $ \operatorname{per}_n $ 의 핵노름은 정확히 $ n^{n/2} $ 이며, 스펙트럴 노름은 $ n! / n^{n/2} $ 이다. 따라서 핵노름 대 스펙트럴 노름의 비율은 $ n^n / n! $ 이다.
• 행렬식 텐서 $ \det_n $ 는 핵노름 $ n! $ 과 스펙트럴 노름 $ n! / n^{n/2} $ 을 가지며, 동일한 비율 $ n^n / n! $ 을 보인다. 이 비율은 $ n \geq 3 $ 일 때 정수가 아니다.
• $ n \geq 3 $ 일 때, 행렬식 텐서 $ \operatorname{per}_n $ 는 필요로 하는 복수성 $ r = n^n / n! $ 이 정수가 아니므로 DSVD를 갖지 못한다.
• $ n \geq 3 $ 일 때, 행렬식 텐서 $ \det_n $ 는 필요로 하는 복수성 $ r = n! $ 이 최대 가능 $ 2 $-직교 순수 텐서의 수 $ n^{n/2} $ 를 초과하므로 DSVD를 갖지 못한다.
• $ \det_3 $ 의 텐서 질량은 최대 5이며, $ \det_n $ 의 질량은 $ \operatorname{rank}(\det_n) \leq \left(\frac{5}{6}\right)^{\lfloor n/3 \rfloor} n! $ 를 만족하여, 초계승 성장률을 보인다.
• 일반화된 라플라스 전개를 통해 $ \operatorname{rank}(\det_n) \geq \binom{n}{\lfloor n/2 \rfloor} $ 의 하한을 도출하였으며, 이는 텐서 질량이 지수적 성장함을 시사한다.