[논문 리뷰] Exact Decomposition of Joint Low Rankness and Local Smoothness Plus Sparse Matrices

Jiangjun Peng, Yao Wang외 3명|arXiv (Cornell University)|2022. 01. 29.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 3차원 상관 총변동성 정규화를 활용하여 행렬을 낮은 질서(L), 국소적으로 스무스한(LSS), 희소(S) 성분으로 정확히 분해하는 새로운 강건한 주성분 분석(RPCA) 모델인 3DCTV-RPCA를 제안한다. 약한 가정 하에 정확한 복원을 위한 이론적 보장을 제공하며, 수렴성 증명이 있는 FFT 가속화된 ADMM 알고리즘을 사용하여 고분광 영상 및 감시 비디오 응용 분야에서 기존 방법들을 능가한다.

ABSTRACT

It is known that the decomposition in low-rank and sparse matrices ( extbf{L+S} for short) can be achieved by several Robust PCA techniques. Besides the low rankness, the local smoothness ( extbf{LSS}) is a vitally essential prior for many real-world matrix data such as hyperspectral images and surveillance videos, which makes such matrices have low-rankness and local smoothness properties at the same time. This poses an interesting question: Can we make a matrix decomposition in terms of extbf{L\&LSS +S } form exactly? To address this issue, we propose in this paper a new RPCA model based on three-dimensional correlated total variation regularization (3DCTV-RPCA for short) by fully exploiting and encoding the prior expression underlying such joint low-rank and local smoothness matrices. Specifically, using a modification of Golfing scheme, we prove that under some mild assumptions, the proposed 3DCTV-RPCA model can decompose both components exactly, which should be the first theoretical guarantee among all such related methods combining low rankness and local smoothness. In addition, by utilizing Fast Fourier Transform (FFT), we propose an efficient ADMM algorithm with a solid convergence guarantee for solving the resulting optimization problem. Finally, a series of experiments on both simulations and real applications are carried out to demonstrate the general validity of the proposed 3DCTV-RPCA model.

연구 동기 및 목표

• 낮은 질서성과 국소 스무스성 사전 지식을 통합한 기존 방법들에서 이론적 복원 보장의 부재를 해결하기 위해.
• 낮은 질서성, 국소 스무스성, 희소 노이즈를 동시에 포괄하는 행렬 분해 모델을 개발하기 위해.
• L & LSS + S 분해 형식에 대해 증명 가능한 정확한 복원 프레임워크를 제공하기 위해.
• 대규모 응용 분야에 적합한 효율적이고 수렴 보장이 되는 최적화 알고리즘을 설계하기 위해.

제안 방법

• 3차원 상관 총변동성(3DCTV) 정규화를 사용하여 낮은 질서성과 국소 스무스성의 구조를 동시에 반영하는 새로운 RPCA 모델인 3DCTV-RPCA를 제안한다.
• 약한 가정 하에 정확한 분해를 증명하기 위해 수정된 골핑 스킴을 적응 적용하여, L & LSS + S 분해에 대해 첫 이론적 복원 보장을 확립한다.
• 비미분 최적화 문제의 효율적 해법을 위해 푸리에 변환(FFT)을 활용하여 ADMM 알고리즘의 속도를 가속화한다.
• 공간 차원 간 기울기 맵 간의 상관관계를 모델링하기 위해 핵심 노름 정규화를 사용하여 스무스성 유지 성능을 향상시킨다.
• 희소 노이즈 모델링을 위해 ℓ1-노름을 통합하고, 이를 3DCTV와 핵심 노름과 통합한 유일한 최적화 프레임워크에 통합한다.
• 엄밀한 수렴 보장이 있는 수렴성 보장이 되는 ADMM 알고리즘을 유도하여 고분광 영상 및 비디오 배경 모델링과 같은 실세계 응용에 적합하다.

실험 결과

연구 질문

• RQ1 일관된 모델 하에 행렬을 낮은 질서성, 국소적으로 스무스한, 희소 성분으로 정확히 분해할 수 있는가?
• RQ2 낮은 질서성과 국소 스무스성을 동시에 활용하는 방법에 대해 이론적 복원 보장이 존재하는가?
• RQ3 3차원 총변동성 프레임워크를 통해 낮은 질서성과 국소 스무스성의 공동 구조를 효과적으로 정규화할 수 있는가?
• RQ4 유도된 비미분 최적화 문제를 효율적이고 수렴 보장이 되는 알고리즘으로 설계할 수 있는가?
• RQ5 고분광 영상 복원 및 비디오 배경 모델링과 같은 실세계 응용 분야에서 제안된 3DCTV-RPCA 모델은 기존 RPCA 방법보다 어떻게 비교되는가?

주요 결과

• 3DCTV-RPCA 모델은 약한 가정 하에 낮은 질서성, 국소적으로 스무스한, 희소 성분의 정확한 분해를 달성하며, 이 클래스의 모델에 대해 첫 이론적 복원 보장을 제공한다.
• 고분광 영상 복원에서 3DCTV-RPCA는 PSNR와 SSIM 모두에서 모든 경쟁 방법들을 능가하며, 다른 방법들보다 색상 충실도를 더 잘 유지한다.
• Li 감시 비디오 데이터셋에서 3DCTV-RPCA는 AUC 0.924를 기록하여 PCP보다 0.019 높고, 추가로 청소된 프레임이 필요한 부분 공간 학습 없이 MPCP(0.940)와 동등한 성능을 보였다.
• FFT 가속화된 ADMM 알고리즘이 신뢰성 있고 효율적으로 수렴하여 이론적 배경이 탄탄한 대규모 응용에 적합하다.
• 시각적 결과에서는 다른 방법들과 비교해 3DCTV-RPCA가 퇴색된 색상과 구조적 충실도를 더 잘 유지함을 보였다.
• 모델은 실제 데이터에 대해 잘 일반화되며, 동적인 배경과 다양한 조명 조건에서의 다양한 시나리오에서도 강건함을 입증했다.