[논문 리뷰] Analyzing the Weighted Nuclear Norm Minimization and Nuclear Norm Minimization based on Group Sparse Representation

Zhiyuan Zha, Yuan, Xin외 5명|arXiv (Cornell University)|2017. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 10

한 줄 요약

이 논문은 군집 희소 표현(GSR) 기반 프레임워크를 제안하여, 낮은 질서 행렬 복원에서 가중 핵노름 최소화(WNNM)가 핵노름 최소화(NNM)를 능가하는 이유를 수학적으로 설명한다. 적응형 사전를 설계하여 GSR와 질서 최소화를 연결함으로써, 저자들은 NNM와 WNNM이 각각 군집에 대한 ℓ₁ 및 가중 ℓ₁ 최소화에 해당함을 유도하였으며, SVD의 불안정성을 방지하기 위한 적응형 가중치 설정 방식을 도입하여 이미지 복원 및 화소 회복 작업에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Rank minimization methods have attracted considerable interest in various areas, such as computer vision and machine learning. The most representative work is nuclear norm minimization (NNM), which can recover the matrix rank exactly under some restricted and theoretical guarantee conditions. However, for many real applications, NNM is not able to approximate the matrix rank accurately, since it often tends to over-shrink the rank components. To rectify the weakness of NNM, recent advances have shown that weighted nuclear norm minimization (WNNM) can achieve a better matrix rank approximation than NNM, which heuristically set the weight being inverse to the singular values. However, it still lacks a sound mathematical explanation on why WNNM is more feasible than NNM. In this paper, we propose a scheme to analyze WNNM and NNM from the perspective of the group sparse representation. Specifically, we design an adaptive dictionary to bridge the gap between the group sparse representation and the rank minimization models. Based on this scheme, we provide a mathematical derivation to explain why WNNM is more feasible than NNM. Moreover, due to the heuristical set of the weight, WNNM sometimes pops out error in the operation of SVD, and thus we present an adaptive weight setting scheme to avoid this error. We then employ the proposed scheme on two low-level vision tasks including image denoising and image inpainting. Experimental results demonstrate that WNNM is more feasible than NNM and the proposed scheme outperforms many current state-of-the-art methods.

연구 동기 및 목표

• 낮은 질서 행렬 복원에서 가중 핵노름 최소화(WNNM)가 핵노름 최소화(NNM)를 능가하는 데 기여하는 엄밀한 수학적 설명을 제공하는 것.
• 적응형 사전 학습 방법을 통해 군집 희소 표현(GSR)과 질서 최소화 모델 간 격차를 메우는 것.
• WNNM에서 히وري스틱한 가중치 설정으로 인해 발생하는 SVD 연산의 불안정성을 해결하기 위해 적응형 가중치 설정 전략을 제안하는 것.
• 실세계 저수준 시각 작업, 특히 이미지 노이즈 제거 및 화소 회복에 대해 제안된 프레임워크를 평가하여 기존 방법들보다 향상된 성능을 보여주는 것.

제안 방법

• 행렬의 특이값 군집을 희소 표현으로 매핑하기 위한 적응형 사전 학습 방법을 설계하여, GSR과 질서 최소화 간의 연결 고리를 구축하는 것.
• 핵노름 최소화(NNM)가 군집 희소 표현에 대한 ℓ₁-노름 최소화와 수학적으로 동일함을 증명하는 것.
• 가중 핵노름 최소화(WNNM)가 GSR 프레임워크 내에서 가중 ℓ₁-노름 최소화에 해당함을 입증하여 그 성능 향상의 타당성을 제시하는 것.
• 특이값 크기에 기반한 적응형 가중치 설정 전략을 도입하여 WNNM에서 SVD 계산 중 발생할 수 있는 수치 오류를 방지하는 것.
• 비국소 패치 그룹화를 활용하여 제안된 GSR-WNNM 모델을 이미지 복원 파이프라인에 통합하여 노이즈 제거 및 화소 회복에 적용하는 것.
• 효율적인 특이값 임계처리와 군집 기반 희소 코딩을 활용한 분할 정복 다중 승수법(ADMM)을 사용하여 모델을 최적화하는 것.

실험 결과

연구 질문

• RQ1 낮은 질서 행렬 복원에서 둘 다 질서 최소화의 볼록적 근사임에도 불구하고, 왜 가중 핵노름 최소화(WNNM)가 핵노름 최소화(NNM)보다 더 효과적인가?
• RQ2 특히 군집 희소 표현(GSR) 프레임워크를 통해 WNNM의 우월성이 공식적으로 설명될 수 있는가?
• RQ3 WNNM에서 히وري스틱한 가중치 할당 방식은 어떻게 개선되어야 하며, SVD 계산 중 발생하는 수치적 불안정성을 방지할 수 있는가?
• RQ4 제안된 GSR 기반 프레임워크는 기존 최신 기술 대비 실질적인 이미지 복원 작업(예: 노이즈 제거 및 화소 회복)에서 더 나은 성능을 보일 수 있는가?

주요 결과

• 이미지 회복 작업에서 제안된 GSR-WNNM 프레임워크는 SALSA 대비 평균 3.32 dB, BPFA 대비 1.72 dB, GSR-NNM 대비 2.20 dB의 PSNR 향상을 달성하였다.
• 80%의 화소가 손실된 '미키' 이미지에서 GSR-WNNM은 PSNR 33.67 dB, SSIM 0.9651을 기록하여 IPPO(32.74 dB)와 JSM(31.96 dB)를 모두 압도하였다.
• 80%의 화소가 손실된 '스타플러시' 이미지에서 GSR-WNNM은 PSNR 34.27 dB, SSIM 0.9535를 기록하여 BPFA(33.13 dB)와 NGS(24.62 dB)를 크게 앞서갔다.
• 시각적 결과에서는 GSR-WNNM이 띠어나는 가장자리와 더 섬세한 질감을 유지하면서도, SALSA, NGS, GSR-NNM와 달리 리버버버션 아티팩트를 제거하는 것으로 나타났다.
• 적응형 가중치 설정 방식이 히وري스틱한 WNNM 환경에서 발생하는 SVD 기반 수치 오류를 성공적으로 방지하였다.
• 수학적 유도를 통해 WNNM이 GSR 프레임워크 내에서 가중 ℓ₁ 최소화에 해당함을 확인하였으며, 이는 NNM 대비 성능 향상의 이론적 기반을 제공한다.