[논문 리뷰] Truncated nuclear norm regularization for low-rank tensor completion

Shengke Xue, Wenyuan Qiu외 2명|arXiv (Cornell University)|2019. 01. 07.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 저질서 텐서 복원을 위한 새로운 텐서 절단 핵심 노름(T-TNN)을 제안한다. 이는 텐서 단위의 절단 핵심 노름을 텐서 특이값 분해(t-SVD)를 이용해 행렬 수준의 절단 핵심 노름으로 확장한 것이다. 푸리에 도메인에서 종방향 슬라이스에 걸친 가장 작은 특이값들의 합을 최소화하여, 저질서 근사 정확도를 향상시키고 수렴 속도를 가속화한다. 실험 결과, T-TNN는 기존 방법들보다 이미지 및 영상 복원에서 더 높은 PSNR를 달성하고 ADMM 및 APGL 솔버를 사용할 때 더 빠른 수렴 속도를 보였다.

ABSTRACT

Recently, low-rank tensor completion has become increasingly attractive in recovering incomplete visual data. Considering a color image or video as a three-dimensional (3D) tensor, existing studies have put forward several definitions of tensor nuclear norm. However, they are limited and may not accurately approximate the real rank of a tensor, and they do not explicitly use the low-rank property in optimization. It is proved that the recently proposed truncated nuclear norm (TNN) can replace the traditional nuclear norm, as an improved approximation to the rank of a matrix. In this paper, we propose a new method called the tensor truncated nuclear norm (T-TNN), which suggests a new definition of tensor nuclear norm. The truncated nuclear norm is generalized from the matrix case to the tensor case. With the help of the low rankness of TNN, our approach improves the efficacy of tensor completion. We adopt the definition of the previously proposed tensor singular value decomposition, the alternating direction method of multipliers, and the accelerated proximal gradient line search method in our algorithm. Substantial experiments on real-world videos and images illustrate that the performance of our approach is better than those of previous methods.

연구 동기 및 목표

• 기존 텐서 핵심 노름이 텐서 秩를 정확히 근사하는 데에 한계가 있음을 해결하기 위해.
• 행렬에서의 절단 핵심 노름을 텐서로 일반화하여 저질서 텐서 복원을 향상시키기 위해.
• 최적화 과정에서 저질서 구조를 더 명시적으로 활용하여 복원 성능을 향상시키기 위해.
• t-SVD와 가속화된 솔버(ADMM, APGL)를 사용하여 더 빠른 수렴을 위한 효율적인 알고리즘을 개발하기 위해.
• 최신 기술 대비 실제 이미지 및 영상 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 절단 핵심 노름 기반의 새로운 텐서 핵심 노름 정의를 제안하며, t-SVD 프레임워크 내에서 종방향 슬라이스에 걸친 가장 작은 특이값들만 최소화한다.
• 텐서 특이값 분해(t-SVD)를 사용하여 텐서를 푸리에 변환된 종방향 슬라이스로 분해함으로써 특이값 연산을 가능하게 한다.
• 최적화 문제를 효율적으로 해결하기 위해 교대 방향 승수법(ADMM)과 가속화된 프록시멀 경사하강선색법(APGL)을 적용한다.
• 표준 핵심 노름보다 더 나은 질서 근사를 위해 가장 큰 r개의 특이값을 무시하는 절단 핵심 노름 정규화를 구현한다.
• 관측된 항목이 원본 데이터와 일치하도록 제약 조건 하에 T-TNN를 최소화하는 방식으로 저질서 텐서 복원 문제를 해결한다.
• 비볼록이지만 더 날카운 질서 근사를 제공하는 소프트 임계처리 유사 업데이트를 푸리에 도메인에서 활용한다.

실험 결과

연구 질문

• RQ1 행렬 복원에서의 절단 핵심 노름이 저질서 근사를 향상시키기 위해 텐서 케이스로 효과적으로 일반화될 수 있는가?
• RQ2 t-SVD 프레임워크를 사용하면 기존 방법들인 SMNN나 ATNN보다 더 나은 텐서 핵심 노름 정의를 가능하게 하는가?
• RQ3 절단 핵심 노름은 표준 핵심 노름이나 Tubal-NN에 비해 텐서 복원에서 수렴 속도와 복원 정확도를 어떻게 향상시키는가?
• RQ4 제안된 T-TNN 방법은 최신 기술 대비 더 높은 PSNR와 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ5 성능은 절단된 특이값 수(r)의 선택에 얼마나 민감한가? 더 강건하게 만들 수 있는가?

주요 결과

• 제안된 T-TNN 방법은 50%의 항목이 손실된 실제 이미지 및 영상 데이터셋에서 LRMC, TNNR, SMNN, ATNN, Tubal-NN와 비교해 더 높은 PSNR를 달성했다.
• ADMM 및 APGL 솔버를 사용한 T-TNN는 Tubal-NN 및 LRMC보다 수렴 속도가 현저히 빠르며, APGL는 ADMM보다 더 적은 반복 수를 필요로 했다.
• T-TNN의 실행 시간은 이미지당 항상 40초 이내였으며, 정확도를 유지하면서 Tubal-NN 및 LRMC를 뛰어넘는 빠른 속도를 보였다.
• 시각적 결과에서는 T-TNN ADMM 및 APGL가 LRMC, TNNR, SMNN, ATNN보다 더 선명한 복원을 제공하고 더 적은 잡음 요소를 보였으며, Tubal-NN와 시각적으로 경쟁 가능했다.
• SMNN 및 ATNN 방법은 일부 경우에서 LRMC보다 성능이 열 劣하므로, 텐서 핵심 노름 정의로는 부적합하다는 것을 시사했다.
• Tubal-NN는 SMNN 및 ATNN보다 성능이 뛰어나지만, 여전히 제안된 T-TNN에 비해 PSNR와 수렴 속도에서 열 劣했다.