[논문 리뷰] A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration

Yuetian Luo, Garvesh Raskutti외 2명|arXiv (Cornell University)|2020. 08. 06.

Tensor decomposition and applications참고 문헌 124인용 수 8

한 줄 요약

이 논문은 일반적인 노이즈 조건 하에서 텐서 분해의 고차원 직교 반복(HOOI) 알고리즘에 대해 날카롭고 결정적인 블록별 섭동 경계를 수립한다. 일반 노이즈 하에서 텐서 재구성 오차와 모드-$k$ 특이 부분공간 추정에 대해 날카로운 보장을 제공하며, HOOI가 최소최대 최적임을 보이고, 한 단계 HOOI가 계산 비용을 줄이며 최적 성능을 달성함을 보여준다.

ABSTRACT

In this paper, we develop novel perturbation bounds for the high-order orthogonal iteration (HOOI) [DLDMV00b]. Under mild regularity conditions, we establish blockwise tensor perturbation bounds for HOOI with guarantees for both tensor reconstruction in Hilbert-Schmidt norm $\|\widehat{\bcT} - \bcT \|_{ HS}$ and mode-$k$ singular subspace estimation in Schatten-$q$ norm $\| \sin Θ(\widehat{\U}_k, \U_k) \|_q$ for any $q \geq 1$. We show the upper bounds of mode-$k$ singular subspace estimation are unilateral and converge linearly to a quantity characterized by blockwise errors of the perturbation and signal strength. For the tensor reconstruction error bound, we express the bound through a simple quantity $ξ$, which depends only on perturbation and the multilinear rank of the underlying signal. Rate matching deterministic lower bound for tensor reconstruction, which demonstrates the optimality of HOOI, is also provided. Furthermore, we prove that one-step HOOI (i.e., HOOI with only a single iteration) is also optimal in terms of tensor reconstruction and can be used to lower the computational cost. The perturbation results are also extended to the case that only partial modes of $\bcT$ have low-rank structure. We support our theoretical results by extensive numerical studies. Finally, we apply the novel perturbation bounds of HOOI on two applications, tensor denoising and tensor co-clustering, from machine learning and statistics, which demonstrates the superiority of the new perturbation results.

연구 동기 및 목표

• 일반적인 신호+노이즈 모델 하에서 HOOI에 대한 점근적이지 않고 결정적인 섭동 경계를 개발하기 위해.
• 힐베르트-슈미트 노름에서의 텐서 재구성 오차와 샤텐-$q$ 노름에서의 모드-$k$ 특이 부분공간 추정에 대해 날카로운 경계를 수립하기 위해.
• 상한과 일치하는 결정론적 하한을 유도하여 HOOI가 텐서 재구성에 대해 최소최대 최적임을 증명하기 위해.
• 한 단계 HOOI가 최적의 재구성 오차를 달성함을 보이고, 계산 비용에 대한 영향을 분석하기 위해.
• 결과를 텐서의 일부 모드에서만 저질서 구조를 가지는 경우로 확장하고, 텐서 노이즈 제거 및 공집합 클러스터링 등의 응용을 통해 검증하기 위해.

제안 방법

• 교차하는 HOOI 반복 과정에서 오차 전파를 분석하여 블록별 섭동 경계를 유도하기 위해.
• 재구성 오차를 특징짓는 핵심 양 $\xi$ 를 도입하며, 이는 오직 섭동과 다중선형 랭크에 의존한다.
• 모드-$k$ 부분공간 추정 오차가 블록별 섭동과 신호 강도에 의존하는 항으로 일방적으로 수렴함을 확립하기 위해.
• 텐서에 적응된 웨딘 유형 섭동 이론을 사용하여, 임의의 $q \geq 1$ 에 대해 $\|\sin\Theta(\widehat{\mathbf{U}}_k, \mathbf{U}_k)\|_q$ 를 경계하기 위해.
• 한 단계 HOOI가 전체 HOOI와 동일한 최적 속도를 달성함을 증명하여 계산 비용 절감 가능성을 보여주기 위해.
• 텐서의 일부 모드에서만 저질서 구조를 가지는 경우로 결과를 확장하면서도 이론적 보장을 유지하기 위해.

실험 결과

연구 질문

• RQ1 일반 노이즈 하에서 HOOI의 텐서 재구성에 대해 가능한 가장 날카로운 결정론적 섭동 경계는 무엇인가?
• RQ2 블록별 섭동 하에서 모드-$k$ 특이 부분공간 추정 오차는 어떻게 행동하며, 균일하게 경계될 수 있는가?
• RQ3 한 단계 HOOI가 최소최대 최적 재구성 오차를 달성하는 데 충분한가? 계산 비용에 대한 영향은 무엇인가?
• RQ4 부분 저질서 텐서에서의 섭동 경계는 확장 가능한가?
• RQ5 이론적 경계는 텐서 노이즈 제거 및 공집합 클러스터링과 같은 실용적 응용에서 어떻게 성능을 발휘하는가?

주요 결과

• 텐서 재구성 오차는 $\|\widehat{\mathbfcal{T}} - \mathbfcal{T}\|_{\rm HS} \leq C \xi$ 로 경계되며, 여기서 $\xi$ 는 오직 섭동과 다중선형 랭크에 의존한다.
• 모드-$k$ 특이 부분공간 추정 오차는 블록별 섭동과 신호 강도에 비례하는 양으로 선형 수렴한다.
• 상한과 일치하는 결정론적 하한이 도출되어 HOOI가 텐서 재구성에 대해 최소최대 최적임을 증명한다.
• 한 단계 HOOI가 전체 HOOI와 동일한 최적 재구성 오차 속도를 달성함으로써 상당한 계산 비용 절감이 가능하다.
• 섭동 경계는 부분 저질서 텐서로 확장되었으며, 이론적 타당성이 유지된다.
• 수치적 실험과 텐서 노이즈 제거 및 공집합 클러스터링 응용을 통해 새로운 경계의 우수성과 실용적 관련성이 확인된다.