[논문 리뷰] Tensor Robust Principal Component Analysis with A New Tensor Nuclear Norm

Canyi Lu, Jiashi Feng외 4명|arXiv (Cornell University)|2018. 04. 10.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 34

한 줄 요약

이 논문은 텐서-텐서 곱(t-product)와 t-특이값 분해(t-SVD)에서 유도된 새로운 텐서 핵노름(TNN)을 사용하여, 볼록 최적화를 통한 정확한 저질서 및 희소 텐서 성분 복원을 가능하게 하는 새로운 텐서 복원 주성분 분석(TRPCA) 프레임워크를 제안한다. 이는 행렬 기반 RPCA를 일반화한 이론적 보장을 제공한다. 주요 기여는 t-SVD의 첫 번째 수직면에서의 특이값 합으로 구성된 TNN 정의로, 이는 단위 스펙트럴 노름 구내에서 텐서 평균 질서의 볼록 에이프런트임을 증명하였다.

ABSTRACT

In this paper, we consider the Tensor Robust Principal Component Analysis (TRPCA) problem, which aims to exactly recover the low-rank and sparse components from their sum. Our model is based on the recently proposed tensor-tensor product (or t-product). Induced by the t-product, we first rigorously deduce the tensor spectral norm, tensor nuclear norm, and tensor average rank, and show that the tensor nuclear norm is the convex envelope of the tensor average rank within the unit ball of the tensor spectral norm. These definitions, their relationships and properties are consistent with matrix cases. Equipped with the new tensor nuclear norm, we then solve the TRPCA problem by solving a convex program and provide the theoretical guarantee for the exact recovery. Our TRPCA model and recovery guarantee include matrix RPCA as a special case. Numerical experiments verify our results, and the applications to image recovery and background modeling problems demonstrate the effectiveness of our method.

연구 동기 및 목표

• 행렬 기반 강력한 주성분 분석(RPCA)의 한계를 해결하기 위해 다중 방향(텐서) 데이터를 다룰 수 있도록 RPCA를 텐서로 확장하면서도 정확한 복원 보장을 유지하고자 한다.
• 행렬의 경우와 일관되게 작동하는 잘 정의된 텐서 핵노름(TNN)을 정의하여 텐서 질서의 날카운 감소된 볼록 근사화를 달성하고자 한다.
• t-곱과 t-SVD를 사용한 텐서 복원 주성분 분석(TRPCA)의 이론적 프레임워크를 수립하여, 비균일성과 희박성 조건 하에서 정확한 복원을 보장하고자 한다.
• 행렬 RPCA를 일반화하고 효율적인 계산을 가능하게 하는 볼록 최적화 모델을 제시하고자 한다.

제안 방법

• 논문은 t-곱과 t-SVD에 기반한 텐서 스펙트럴 노름과 텐서 핵노름(TNN)을 정의하며, TNN은 텐서의 t-SVD에서 첫 번째 수직면의 특이값 합으로 계산된다.
• 제안된 TNN이 텐서 스펙트럴 노름 단위 구내에서 텐서 평균 질서의 볼록 에이프런트임을 증명하여 날카운 볼록 근사화를 보장한다.
• TRPCA 문제는 저질서 성분의 TNN 합과 희소 성분의 ℓ₁-노름 합을 최소화하는 볼록 최적화 프로그램으로 공식화되며, 데이터 일致성 조건을 만족해야 한다.
• 이 방법은 푸리에 변환을 통해 텐서 연산을 행렬 연산으로 변환함으로써 효율적인 계산을 가능하게 한다.
• 비균일성과 희박성 가정을 사용하여 이론적 복원 보장을 도출하였으며, 이는 행렬 RPCA 결과를 텐서 경우로 일반화한다.
• 이 프레임워크는 이미지 복원 및 배경 모델링에 적용되어 다차원 데이터에서의 심각한 오염에 대해 강건함을 입증하였다.

실험 결과

연구 질문

• RQ1 t-곱과 t-SVD 프레임워크를 사용하여 정확한 볼록 텐서 핵노름을 정의할 수 있는가? 이를 통해 저질서 텐서 복원이 가능해지는가?
• RQ2 제안된 텐서 핵노름은 단위 스펙트럴 노름 구내에서 텐서 평균 질서의 볼록 에이프런트인가?
• RQ3 TRPCA 모델은 비균일성과 희박성 조건 하에서 저질서 및 희소 텐서 성분을 정확히 복원할 수 있는가?
• RQ4 기존의 텐서 저질서 복원 모델과 비교해 볼 때, 제안된 TRPCA 방법은 이론적 보장과 실용적 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 텐서 핵노름은 t-SVD의 첫 번째 수직면에서의 특이값 합으로 정의되며, 이는 행렬 핵노름과의 일관성을 보장한다.
• 텐서 핵노름은 단위 스펙트럴 노름 구내에서 텐서 평균 질서의 볼록 에이프런트임이 증명되었으며, 날카운 볼록 근사화를 제공한다.
• TRPCA 모델은 비균일성과 희박성 가정 하에서 저질서 및 희소 텐서 성분을 정확히 복원하며, 이는 행렬 RPCA의 복원 보장 결과를 일반화한다.
• 수치 실험 결과, 특히 심각한 고유의 오염이 존재하는 상황에서 이미지 복원 및 배경 모델링 작업에서 기존 방법들을 능가하는 성능을 보였다.
• 빠른 푸리에 변환을 활용한 t-SVD 계산 덕분에 계산이 효율적이며, 큰 텐서에 대해서도 잘 스케일링된다.