[논문 리뷰] Tensor Completion via Tensor QR Decomposition and $L_{2,1}$-Norm Minimization

Yongming Zheng, An-Bao Xu|arXiv (Cornell University)|2020. 11. 09.

Tensor decomposition and applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 텐서 특이값 분해(t-SVD)를 대체하기 위해 새로운 텐서 QR 분해 기반의 근사 t-SVD(CTSVD-QR)를 도입하고, 텐서 핵노름 대신 텐서 $L_{2,1}$-노름 최소화를 사용하는 빠르고 정확한 텐서 완성 방법인 TLNM-TQR을 제안한다. 이 방법은 계산 속도가 빠르고, 영상 및 컬러 이미지 데이터셋에서 상태최근기법인 ADMM-t-SVD보다 빠르면서도 높은 복원 정밀도를 유지한다.

ABSTRACT

In this paper, we consider the tensor completion problem, which has many researchers in the machine learning particularly concerned. Our fast and precise method is built on extending the $L_{2,1}$-norm minimization and Qatar Riyal decomposition (LNM-QR) method for matrix completions to tensor completions, and is different from the popular tensor completion methods using the tensor singular value decomposition (t-SVD). In terms of shortening the computing time, t-SVD is replaced with the method computing an approximate t-SVD based on Qatar Riyal decomposition (CTSVD-QR), which can be used to compute the largest $r \left(r>0 ight)$ singular values (tubes) and their associated singular vectors (of tubes) iteratively. We, in addition, use the tensor $L_{2,1}$-norm instead of the tensor nuclear norm to minimize our model on account of it is easy to optimize. Then in terms of improving accuracy, ADMM, a gradient-search-based method, plays a crucial part in our method. Numerical experimental results show that our method is faster than those state-of-the-art algorithms and have excellent accuracy.

연구 동기 및 목표

• 텐서 완성에서 텐서 특이값 분해(t-SVD)의 높은 계산 비용이 확장성과 속도를 제한하므로 이를 해결하고자 한다.
• CTSVD-QR라는 이름의 근사 t-SVD 계산을 위해 QR 분해를 활용한 t-SVD의 더 빠른 대체 방법을 개발하고자 한다.
• 텐서 핵노름을 더 최적화하기 쉬운 텐서 $L_{2,1}$-노름으로 대체하여 계산 효율성을 향상시키고자 한다.
• CTSVD-QR와 $L_{2,1}$-노름 최소화를 통합한 유일한 프레임워크를 설계하여 효율적이고 정확한 텐서 완성 방법을 제안하고자 한다.
• 합성 및 실제 데이터를 바탕으로, 다양한 누락 비율과 텐서 크기에서 영상 및 컬러 이미지 복원 과제에 대해 제안된 방법의 성능을 검증하고자 한다.

제안 방법

• 계산 비용이 높은 t-SVD를 대체하기 위해, 텐서 QR 분해를 활용해 가장 큰 $r$개의 특이값(튜브)과 그에 대응하는 특이벡터(튜브 기반)를 반복적으로 계산하는 CTSVD-QR 방법을 제안한다.
• 각 튜브의 $L_2$-노름의 합으로 정의된 새로운 텐서 $L_{2,1}$-노름을 도입하며, 이는 튜벌랭크의 볼록한 대체 측도로서, 텐서 핵노름보다 최적화가 더 쉬운 편이다.
• 텐서 핵노름이 텐서 $L_{2,1}$-노름의 하한임을 증명하여, 저랭크 텐서 근사에서의 타당한 대체 가능성을 입증한다.
• ADMM 최적화 프레임워크 내에서 CTSVD-QR와 $L_{2,1}$-노름 최소화를 융합하여 텐서 완성 문제를 해결하는 TLNM-TQR 알고리즘을 개발한다.
• ADMM를 활용해 유도된 하위문제를 효율적으로 해결함으로써, 다양한 텐서 구조에서 빠른 수렴과 안정된 성능을 달성한다.
• 제약 최적화 모델을 통해 텐서 완성을 적용한다: $\min_{\mathcal{X}} \|\mathcal{X}\|_{2,1} \text{ s.t. } \mathcal{X}_{i,j,k} = \mathcal{M}_{i,j,k}, (i,j,k) \in \Omega$, 여기서 $\mathcal{M}$은 관측된 불완전한 텐서이다.

실험 결과

연구 질문

• RQ1 t-SVD의 QR 기반 근사화 방법은 기존 t-SVD보다 훨씬 더 빠르면서도 텐서 완성에서 정확도를 유지할 수 있는가?
• RQ2 텐서 $L_{2,1}$-노름은 텐서 핵노름보다 튜벌랭크에 대해 더 효율적이고 효과적인 볼록 대체 측도가 될 수 있는가?
• RQ3 CTSVD-QR와 $L_{2,1}$-노름 최소화의 조합은 최신 기법들에 비해 더 빠르고 정확한 텐서 완성 알고리즘을 만들어낼 수 있는가?
• RQ4 실제 응용 분야인 영상 및 이미지 복원에서 다양한 누락 비율과 텐서 차원에서 제안된 방법의 성능은 어떠한가?
• RQ5 비디오 시퀀스나 컬러 이미지와 같은 고차원 텐서 데이터에 대해 제안된 방법은 강건하고 확장 가능한가?

주요 결과

• 컬러 이미지 복원에서 TLNM-TQR은 평균 2.4336초의 실행 시간을 기록하여, ADMM-t-SVD(22.8229초)와 HoMP(24.1802초)보다 빠르게 작동한다.
• 50%의 데이터 누락 비율을 가진 영상 데이터셋에서 TLNM-TQR은 RMSE 11.0136을 유지하며, ADMM-t-SVD(12.2161)와 거의 유사한 성능을 보이고 HoMP 및 ELRAP4TS를 능가한다.
• 전면 슬라이스 수가 2에서 40으로 증가하는 영상 복원 과정에서 TLNM-TQR은 다른 방법들보다 실행 시간 증가율이 둔화되어, 우수한 확장성을 보여준다.
• 가우시안 노이즈와 블러 노이즈가 첨가된 컬러 이미지 복원에서 TLNM-TQR은 평균 RMSE 22.1667을 기록하여, ADMM-t-SVD(19.7492)와 HoMP(17.1329)보다 정확도에서 뛰어난 성능을 보였다.
• 30%에서 90%까지 다양한 누락 비율에서 일관된 성능을 보이며, 높은 정확도와 낮은 실행 시간을 유지했고, 50회 반복 시험에서 결과의 변동성이 최소한이었다.
• 수치 실험을 통해 CTSVD-QR는 t-SVD 대비 반복 시간을 크게 감소시키며, $L_{2,1}$-노름은 최적화 속도를 향상시켜, 프레임워크의 핵심 설계 선택 사항이 타당함을 확인했다.