[논문 리뷰] Von Neumann's inequality for tensors

Stéphane Chrétien, Tianwen Wei|arXiv (Cornell University)|2015. 02. 05.

Tensor decomposition and applications참고 문헌 5인용 수 3

한 줄 요약

이 논문은 높은 순서의 텐서로 바나흐의 부등식을 확장하며, 고계 특이값 분해(HOSVD)를 사용한다. 두 텐서의 내적은 그들의 방식별 특이값 벡터의 내적에 의해 유계로 제한되며, 등호가 성립하는 조건을 완전히 규명한다: 등호는 모든 모드에서 동시에 성립할 조건은 텐서의 코어 텐서가 특이 스펙트럼에 대해 정규직교 변환과 치환 행렬을 통해 비례 관계에 있을 때이다.

ABSTRACT

For two matrices in $\mathbb R^{n_1 imes n_2}$, the von Neumann inequality says that their scalar product is less than or equal to the scalar product of their singular spectrum. In this short note, we extend this result to real tensors and provide a complete study of the equality case.

연구 동기 및 목표

• 원래 행렬에 대해 유효한 바나흐의 부등식을 고계 실수 텐서로 일반화하기 위해.
• 고계 특이값 분해(HOSVD) 프레임워크를 사용하여 텐서에 대한 의미 있는 특이값과 특이부공간의 구조를 정의하기 위해.
• 모든 모드에서 텐서 바나흐 부등식의 등호 조건을 완전히 규명하기 위해.
• 특히 텐서 함수의 하위미분 분석에서의 응용을 가능하게 하기 위해 텐서 최적화에 활용하기 위해.
• 기계학습 및 통계에서 텐서 秩 최소화를 위한 스파arsity 유도 노름을 볼록 대체함수로 활용할 수 있도록 지원하기 위해.

제안 방법

• 텐서를 정규직교 변환과 또는thonormal 피버를 가진 코어 텐서로 분해하기 위해 고계 특이값 분해(HOSVD)를 사용한다.
• 모드-$d$의 특이값 스펙트럼 $\sigma^{(d)}(\mathcal{X})$를 모드-$d$ 매트리시제이션 $\mathcal{X}_{(d)}$의 특이값 벡터로 정의한다.
• 각 모드-$d$ 매트리시제이션에 고전적 바나흐 부등식을 적용하여 $\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$ 를 유도한다.
• HOSVD 하에서 코어 텐서 $\mathcal{S}(\mathcal{X})$와 $\mathcal{S}(\mathcal{Y})$의 구조를 분석하여 등호 조건을 규명한다.
• 치환 행렬 $\Pi_d$를 사용하여 특이값을 재정렬하여, 치환된 코어 텐서의 대응 블록이 비례하도록 한다.
• 등호가 모든 모드에서 동시에 성립하는 것은, 공통의 변환을 포함하는 치환 행렬과 정규직교 변환을 사용하여 $\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ 가 성립하는 정규직교 행렬 $W^{(d)}$ 가 존재할 때이고, $\rho$ 가 모든 블록에서 일정할 때이다.

실험 결과

연구 질문

• RQ1 바나흐의 행렬 부등식을 고계 텐서로 어떻게 일반화할 수 있는가?
• RQ2 이러한 일반화를 가능하게 하기 위해 텐서에 대한 적절한 특이값과 특이부공간의 정의는 무엇인가?
• RQ3 등호가 모든 모드에서 동시에 성립하는 조건은 무엇인가?
• RQ4 HOSVD 하에서 코어 텐서의 구조는 부등식의 등호 조건과 어떻게 관련이 있는가?
• RQ5 등호 조건은 특이 스펙트럼에 정규직교 변환과 치환 행렬을 적용하여 표현할 수 있는가?

주요 결과

• 텐서 바나흐 부등식이 성립한다: 임의의 두 텐서 $\mathcal{X}, \mathcal{Y} \in \mathbb{R}^{n_1 \times \cdots \times n_D}$ 에 대해, 각 모드 $d$ 에 대해 내적은 $\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$ 를 만족한다.
• 등호는 모든 모드 $d=1,\ldots,D$ 에 대해 동시에 성립할 조건은, 정규직교 행렬 $W^{(d)}$ 와 텐서 $\mathcal{D}(\mathcal{X})$ 가 존재하여, 치환 행렬과 정규직교 변환을 포함한 공통의 변환 하에서 $\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ 가 성립할 때이다.
• 등호 조건은 코어 텐서의 랭크가 모든 $d$ 에 대해 $r_x^{(d)} = r_y^{(d)}$ 이거나, 또는 $r_x^{(d)} > r_y^{(d)}$ 이거나 $r_x^{(d)} < r_y^{(d)}$ 이며, 후자의 경우는 코어 텐서의 원소들이 비례해야 한다는 것을 의미한다.
• 등호가 성립할 경우, 더 작은 텐서의 지원 범위 내에서 모든 색인 $i_1,\ldots,i_D$ 에 대해 코어 텐서 $\mathcal{S}(\mathcal{X})$ 와 $\mathcal{S}(\mathcal{Y})$ 의 원소들이 비례하며, 모든 모드에서 동일한 비율 $\sigma^{(d)}_{i_d}(\mathcal{X}) / \sigma^{(d)}_{i_d}(\mathcal{Y})$ 을 가진다.
• 등호 조건은 치환된 코어 텐서에서 블록 구조로 나타나며, 각 블록은 특이값의 공통 비율에 대응하고, $\mathcal{D}(\mathcal{X})$ 와 $\mathcal{D}(\mathcal{Y})$ 사이의 모든 원소가 비례한다.
• 이 규명은 $\mathcal{D}(\mathcal{X})$ 의 어떤 원소도 이러한 블록의 합집합 외부에 존재할 수 없으며, 0이 아닐 경우 비례 조건을 위반하므로, 비례 조건을 유지한다.