[논문 리뷰] Tensor N-tubal rank and its convex relaxation for low-rank tensor recovery

Yu‐Bang Zheng, Ting‐Zhu Huang외 4명|arXiv (Cornell University)|2018. 12. 03.

Medical Imaging and Analysis인용 수 7

한 줄 요약

이 논문은 $N$-방향 텐서에서 모든 모드를 통해 저질서 구조를 더 잘 포착하기 위해 모드-$k_1k_2$ 텐서 편개와 그 볼록 리 릴랙세이션인 가중치 합 텐서 노름 합계(WSTNN)를 기반으로 한 새로운 텐서 秩, 즉 텐서 $N$-튜벌 랭크를 제안한다. 기존 방법에 비해 저질서 텐서 복원 및 강건한 텐서 복구 작업에서 성능이 크게 향상된다.

ABSTRACT

As low-rank modeling has achieved great success in tensor recovery, many research efforts devote to defining the tensor rank. Among them, the recent popular tensor tubal rank, defined based on the tensor singular value decomposition (t-SVD), obtains promising results. However, the framework of the t-SVD and the tensor tubal rank are applicable only to three-way tensors and lack of flexibility to handle different correlations along different modes. To tackle these two issues, we define a new tensor unfolding operator, named mode-$k_1k_2$ tensor unfolding, as the process of lexicographically stacking the mode-$k_1k_2$ slices of an $N$-way tensor into a three-way tensor, which is a three-way extension of the well-known mode-$k$ tensor matricization. Based on it, we define a novel tensor rank, the tensor $N$-tubal rank, as a vector whose elements contain the tubal rank of all mode-$k_1k_2$ unfolding tensors, to depict the correlations along different modes. To efficiently minimize the proposed $N$-tubal rank, we establish its convex relaxation: the weighted sum of tensor nuclear norm (WSTNN). Then, we apply WSTNN to low-rank tensor completion (LRTC) and tensor robust principal component analysis (TRPCA). The corresponding WSTNN-based LRTC and TRPCA models are proposed, and two efficient alternating direction method of multipliers (ADMM)-based algorithms are developed to solve the proposed models. Numerical experiments demonstrate that the proposed models significantly outperform the compared ones.

연구 동기 및 목표

• 기존 텐서 랭크(예: 텐서 튜벌 랭크, 터커 랭크)의 한계를 해결하기 위해, 이는 세 방향 텐서에만 국한되거나 다중 모드 구조적 상관관계를 유지하지 못함.
• 기존의 전통적인 텐서 편개 방법이 $N$-방향 텐서의 모든 모드 조합 간의 상관관계를 포착하는 데 있어 유연성이 떨어지는 문제를 해결하기 위해.
• 제안된 $N$-튜벌 랭크의 볼록 리 릴랙세이션을 개발하여 저질서 텐서 복원 작업에서 효율적인 최적화를 가능하게 하기 위해.
• 새로운 프레임워크를 저질서 텐서 복원(LRTC)과 텐서 강건한 주성분 분석(TRPCA)이라는 두 핵심 텐서 복원 문제에 적용하여 성능 향상을 달성하기 위해.
• 이론적 수렴 보장을 갖춘 효율적인 ADMM 기반 알고리즘을 설계하기 위해.

제안 방법

• 모드-$k_1k_2$ 텐서 편개를 새롭게 도입하여, 모드-$k_1k_2$ 슬라이스를 사전 순서로 스택함으로써 $N$-방향 텐서를 세 방향 텐서로 재구성한다.
• 텐서 $N$-튜벌 랭크를 벡터로 정의하며, 각 요소는 모드-$k_1k_2$ 편개 텐서의 튜벌 랭크로, 모든 모드 쌍 간의 상관관계를 포착한다.
• 제안된 $N$-튜벌 랭크의 볼록 대체물로 가중치 합 텐서 노름 합계(WSTNN)를 제안하여, 볼록 리 릴랙세이션을 통한 효율적 최적화를 가능하게 한다.
• 저질서 텐서 복원(LRTC)과 텐서 강건한 주성분 분석(TRPCA)을 위한 WSTNN 기반 최적화 모델을 수립하며, 데이터 적합성과 저질서 정규화를 통합한다.
• LRTC 및 TRPCA 모델을 해결하기 위한 두 가지 효율적인 분할 최적화 방법(ADMM) 기반 알고리즘을 개발하여 볼록성 조건 하에서 수렴 보장을 확보한다.
• TRPCA에서 저질서 및 희소 성분 간의 균형을 확보하기 위해 적응형 가중치 선택 및 임계값 파rameter 조정($ au$)을 통합하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 텐서 튜벌 랭크의 한계를 넘어서, $N$-방향 텐서의 모든 모드 쌍 간에 저질서 구조를 포착할 수 있는 새로운 텐서 랭크를 정의할 수 있는가?
• RQ2 제안된 모드-$k_1k_2$ 편개 방법이 기존의 모드-$k$ 매트리시제이션보다 더 잘 임베디드된 다중 모드 상관관계를 유지하는가?
• RQ3 WSTNN 볼록 리 릴랙세이션이 $N$-튜벌 랭크를 효과적으로 근사하면서도 텐서 복원 작업에서 효율적인 최적화를 가능하게 하는가?
• RQ4 WSTNN 기반 LRTC 모델은 합성 및 실세계 데이터에서 최신 기법들과 비교해 복원 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 WSTNN 기반 TRPCA 모델은 고분광 및 영상 데이터에서 희소 오염과 노이즈를 다루는 데 있어 기존의 강건한 텐서 분해 방법에 비해 어느 정도 뛰어나게 성능을 내는가?

주요 결과

• 제안된 WSTNN 기반 LRTC 모델은 합성 및 실세계 텐서 복원 작업에서 경쟁 기법들에 비해 유의미하게 높은 PSNR와 낮은 상대적 변화(ReChang) 값을 기록한다.
• 고분광 영상(HSI) 정화 작업에서, WSTNN 기반 TRPCA 방법은 PSNR, SSIM, FSIM 모든 지표에서 TNN 기반 방법 [46]을 초월하며, 다양한 노이즈 수준에서 합성 데이터에서 성공률가 90% 이상을 기록한다.
• 워싱턴 DC 몰 HSI 데이터셋에서, 제안된 방법은 노이즈 수준 0.4일 때 PSNR 38.21 dB, SSIM 0.987을 기록하여 비교된 모든 방법들을 능가한다.
• 파rameter 민감도 분석 결과, $ au$의 중간 값(예: 100)이 최적의 성능을 내며, 극단적인 값은 과도하거나 부족한 정규화로 인해 실패를 초래함을 확인하였다.
• ADMM 기반 알고리즘의 수렴은 경험적으로 검증되었으며, 목표 함수 값이 50~100회 반복 후 안정화되어 이론적 수렴 보장을 확인하였다.
• 제안된 방법은 합성 및 실세계 데이터 모두에서 정제 및 복원 작업에서 뛰어난 시각적 품질을 보이며, 기본 방법들보다 세밀한 디테일과 질감을 더 잘 유지한다.