[논문 리뷰] The Sup-norm Perturbation of HOSVD and Low Rank Tensor Denoising

Dong Xia, Fan Zhou|arXiv (Cornell University)|2017. 07. 05.

Tensor decomposition and applications인용 수 18

한 줄 요약

이 논문은 i.i.d. 가우시안 노이즈 하에서 텐서의 고차원 특이값 분해(HOSVD)에 대한 날카운 sup-norm 섭동 경계를 수립하며, 최적의 항목별 오차율을 갖는 추정기들을 제안한다. 이는 고차원 가우시안 혼합 모델에서의 정확한 클러스터링 및 하위텐서 국소화에서의 서포트 복원과 같은 통계학적 학습 과제에서의 비전통적 단계 전이를 드러낸다.

ABSTRACT

The higher order singular value decomposition (HOSVD) of tensors is a generalization of matrix SVD. The perturbation analysis of HOSVD under random noise is more delicate than its matrix counterpart. Recently, polynomial time algorithms have been proposed where statistically optimal estimates of the singular subspaces and the low rank tensors are attainable in the Euclidean norm. In this article, we analyze the sup-norm perturbation bounds of HOSVD and introduce estimators of the singular subspaces with sharp deviation bounds in the sup-norm. We also investigate a low rank tensor denoising estimator and demonstrate its fast convergence rate with respect to the entry-wise errors. The sup-norm perturbation bounds reveal unconventional phase transitions for statistical learning applications such as the exact clustering in high dimensional Gaussian mixture model and the exact support recovery in sub-tensor localizations. In addition, the bounds established for HOSVD also elaborate the one-sided sup-norm perturbation bounds for the singular subspaces of unbalanced (or fat) matrices.

연구 동기 및 목표

• 랜덤 노이즈 하에서 텐서 노이즈 제거에 대한 HOSVD의 sup-norm 섭동 분석 부족 문제를 해결하기 위해.
• 기존 유클리드 노름 결과보다 향상된 sup-norm에서의 특이부공간 추정기의 날카운 편차 경계를 유도하기 위해.
• 항목별 오차 측도 하에서 저랭크 텐서 노이즈 제거의 통계적 성능을 조사하기 위해.
• 정확한 클러스터링 및 서포트 복원과 같은 고차원 통계학적 학습 과제에서 sup-norm 행동에 의해 유도되는 비전통적 단계 전이를 밝혀내기 위해.
• HOSVD 분석을 통해 비균형(또는 두꺼운) 행렬에 대한 sup-norm 경계를 확장하기 위해.

제안 방법

• 행렬 농도 불등식과 스펙트럼 노름 제어를 이용해 HOSVD에 대한 sup-norm 섭동 경계를 유도한다.
• 통계적으로 최적의 특이부공간 추정기를 달 đạt하기 위해 단순 SVD의 피보팅 기반 반복 개선 기법을 도입한다.
• 행렬 베르누이 불등식과 난수 행렬 이론을 활용해 텐서 편개에서 노이즈 성분의 연산자 노름을 제어한다.
• 특이부공간 차이에 따른 노이즈 기여도 분해를 통해 노이즈 제거 텐서의 항목별 오차를 분석한다.
• 특이벡터의 흩어진 정도를 측정하고 sup-norm 편차를 제어하기 위해 일관성 매개변수 $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ 를 활용한다.
• 로그함수 인자 $d$ 와 신호 대 노이즈 비율 스케일링을 사용해 항목별 오차 $|\langle \widetilde{\mathbf{A}} - \mathbf{A}, \mathbf{e}_i \otimes \mathbf{e}_j \otimes \mathbf{e}_k \rangle|$ 에 대한 고확률 경계를 수립한다.

실험 결과

연구 질문

• RQ1 i.i.d. 가우시안 노이즈 하에서 HOSVD를 통해 얻은 특이부공간에 대한 날카운 sup-norm 섭동 경계는 무엇인가?
• RQ2 저랭크 텐서 노이즈 제거 추정기의 항목별 오차는 차원 $d$, 랭크 $r$, 노이즈 분산 $\sigma^2$ 와 어떻게 척도화되는가?
• RQ3 sup-norm 행동에 의해 정확한 클러스터링 및 서포트 복원과 같은 통계학적 학습 과제에서 어떤 단계 전이가 나타나는가?
• RQ4 HOSVD의 sup-norm 분석을 통해 비균형 행렬의 특이부공간에 대해 단방향 경계를 도출할 수 있는가?
• RQ5 일관성 매개변수 $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ 는 sup-norm 편차 제어에서 어떤 역할을 하는가?

주요 결과

• 고확률적으로 노이즈 제거 텐서 $\widetilde{\mathbf{A}}$ 의 sup-norm 오차는 $O_{p}\big(\sigma r^{3} \big( \frac{\sigma \widetilde{\kappa}(\mathbf{A})}{\bar{g}_{\min}(\mathbf{A})} + \frac{\widetilde{\kappa}^{2}(\mathbf{A})}{d} \big) \mu_{\mathbf{U}}\mu_{\mathbf{V}} + \cdots \big)$ 로 경계된다.
• 항목별 오차 경계는 $O_{p}\big(\frac{\sigma r^{2}}{d^{1/2}} \cdot \frac{\sigma \overline{\Lambda}(\mathbf{A}) r + \sigma^{2} d r}{\bar{g}_{\min}^{2}(\mathbf{A})} \mu_{\mathbf{U}}\mu_{\mathbf{V}}\mu_{\mathbf{W}} \log^{3/2}d \big)$ 로 척도화되며, 신호 강도와 일관성의 영향을 반영한다.
• 정확한 클러스터링 및 서포트 복원에서의 단계 전이는 sup-norm 행동을 통해 드러나며, 기존 유클리드 노름 분석과 다릅니다.
• 경계들은 HOSVD 기반 추정기가 고차원 설정에서도 항목별 오차에서 빠른 수렴 속도를 달성함을 암시한다.
• 텐서 분석의 부산물로 비균형 행렬의 특이부공간에 대한 단방향 sup-norm 섭동 경계가 수립된다.
• 분석은 $\bar{g}_{\min}(\mathbf{A}) \gtrsim \sigma d^{3/4}$ 가 섭동을 제어하는 데 충분함을 보여주며, 날카운 편차 경계를 가능하게 한다.