[논문 리뷰] From Rank Estimation to Rank Approximation: Rank Residual Constraint for Image Restoration

Zhiyuan Zha, Xin Yuan외 4명|arXiv (Cornell University)|2018. 07. 06.

Image and Signal Denoising Methods참고 문헌 83인용 수 3

한 줄 요약

이 논문은 이미지 복원을 위한 새로운 랭크 잔차 제약(RRC) 모델을 제안한다. 이 모델은 기준 이미지 그룹과 열악한 관측값 사이의 랭크 잔차를 최소화하여, 반복적으로 기저의 저랭크 구조를 근사한다. 비국소적 자기유사성 사전지식과 군기반 희소 표현을 통합함으로써, RRC는 이미지 노이즈 제거 및 압축 아티팩트 감소에서 최첨단 기법들을 능가하는 성능을 달성하며, 객관적 품질과 주관적 품질 측면에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose a novel approach to the rank minimization problem, termed rank residual constraint (RRC) model. Different from existing low-rank based approaches, such as the well-known nuclear norm minimization (NNM) and the weighted nuclear norm minimization (WNNM), which estimate the underlying low-rank matrix directly from the corrupted observations, we progressively approximate the underlying low-rank matrix via minimizing the rank residual. Through integrating the image nonlocal self-similarity (NSS) prior with the proposed RRC model, we apply it to image restoration tasks, including image denoising and image compression artifacts reduction. Towards this end, we first obtain a good reference of the original image groups by using the image NSS prior, and then the rank residual of the image groups between this reference and the degraded image is minimized to achieve a better estimate to the desired image. In this manner, both the reference and the estimated image are updated gradually and jointly in each iteration. Based on the group-based sparse representation model, we further provide a theoretical analysis on the feasibility of the proposed RRC model. Experimental results demonstrate that the proposed RRC model outperforms many state-of-the-art schemes in both the objective and perceptual quality.

연구 동기 및 목표

• 핵심 노름 최소화(ННМ)와 가중 핵심 노름 최소화(WNNM)와 같은 전통적인 저랭크 행렬 복원 방법의 한계를 해결하기 위해, 이러한 방법들이 특이값을 과도하게 압축하고 유연성이 떨어진다는 점을 고려한다.
• 직접 랭크 추정에서 점진적 랭크 근사로의 전환을 통해, 저랭크 행렬 추정에 더 유연하고 정확한 접근법을 개발한다.
• 랭크 잔차를 반복적으로 최소화함으로써 기준 이미지 그룹과 추정된 이미지를 함께 업데이트함으로써, 이미지 복원 성능을 향상시킨다.
• 비국소적 자기유사성(NSS) 사전지식을 RRC 모델에 통합하여, 복원된 이미지의 구조적 정확성과 주관적 품질을 향상시킨다.
• 군기반 희소 표현을 이용한 이론적 기반을 제공하고, 특정 조건 하에서 RRC 모델이 희소 코딩 공식과 동치임을 증명한다.

제안 방법

• 기본 이미지 그룹과 관측된 열악한 이미지 사이의 랭크 구조 차이를 최소화하는 랭크 잔차 제약(RRC) 모델을 제안하며, 저랭크 행렬을 직접 추정하는 대신 이를 제안한다.
• 유사한 이미지 패치가 저랭크 그룹을 이룬다는 사실을 활용하여, 비국소적 자기유사성 패턴을 모델링하기 위해 군기반 희소 표현(GSR) 프레임워크를 사용한다.
• 기준 이미지 그룹과 추정된 이미지를 반복적으로 업데이트함으로써 랭크 잔차를 최소화함으로써, 점진적인 저랭크 근사 향상이 가능하다.
• 유니터리 변환과 특이값 분해를 활용하여, 변환된 도메인에서 소프트 스레셔딩을 통한 최적화 문제의 폐쇄형 해를 도출한다.
• 특정 조건 하에서 RRC 모델과 군기반 희소 표현(GSRC) 간의 이론적 동치성을 확립하며, 랭크 잔차 최소화가 적응형 사전을 가진 희소 코딩 문제를 푸는 것과 동치임을 증명한다.
• 두 단계의 교대 최적화를 사용한다: 첫째, SVD를 통해 변환 행렬을 추정하고, 둘째, 소프트 스레셔딩을 통해 희소 계수를 해결함으로써 계산 효율성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 랭크 잔차 최소화를 통한 반복적 랭크 근사가 이미지 복원 작업에서 직접 저랭크 추정보다 뛰어난 성능을 내는가?
• RQ2 랭크 잔차 제약와 비국소적 자기유사성의 통합이 기존 저랭크 모델에 비해 복원 품질을 어떻게 향상시키는가?
• RQ3 NNM과 WNNM에 비해 제안된 RRC 모델이 특이값의 과도한 압축을 얼마나 줄이는가?
• RQ4 RRC 모델이 군기반 희소 표현과 이론적으로 동치인가? 이 동치성이 뛰어난 성능을 정당화하는가?
• RQ5 기준 그룹과 추정된 이미지 그룹의 반복적 공동 업데이트가 노이즈 제거 및 압축 아티팩트 감소에서 더 나은 수렴성과 주관적 품질을 이끌어내는가?

주요 결과

• 제안된 RRC 방법은 표준 이미지 복원 벤치마크에서 PSNR 및 SSIM 지표에서 NNM, WNNM 및 기타 저랭크 모델과 같은 최첨단 기법들을 능가하는 뛰어난 객관적 성능을 달성한다.
• 시각적 검토와 사용자 연구를 통해 RRC 모델이 주관적 품질을 크게 향상시키며, 복원된 이미지가 더 선명한 윤곽과 더 자연스러운 질감을 보임을 확인했다.
• 반복 과정을 거친 랭크 잔차 최소화가 특이값이 진짜 값에 점차 수렴하는 점진적 수렴을 이끌어내며, 반복 수에 따른 특이값 도표로 이를 입증했다.
• 이론적 분석을 통해 특정 가정 하에서 RRC 모델이 군기반 희소 표현(GSRC)과 동치임을 확인하였으며, 이는 그 효과성에 대한 견고한 수학적 기반을 제공한다.
• 잔차 최소화 과정을 통해 특이값을 적응적으로 가중함으로써 특이값의 과도한 압축을 효과적으로 줄였고, 구조적 세부 정보의 보존에 기여했다.
• 실증 결과에 따르면 기준 그룹과 추정된 이미지 그룹의 공동 업데이트가 고노이즈 및 고압축 환경에서 복원 정확도를 향상시켰다.