[논문 리뷰] Nonlocal Low-Rank Tensor Factor Analysis for Image Restoration

Xinyuan Zhang, Xin Yuan외 1명|arXiv (Cornell University)|2018. 03. 19.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 7

한 줄 요약

이 논문은 이미지의 그룹화된 패치를 3차원 텐서로 모델링하여 공간적 구조를 유지하고, 저질서 텐서 분해를 통해 비국소 자기유사성을 활용하는 새로운 이미지 복원 방법인 비국소 저질서 텐서 분해 분석(NLR-TFA)을 제안한다. ADMM 프레임워크에 통합하고, 계산 비용이 큰 행렬 역행렬을 추정하기 위해 딥 컨volution 네트워크(DCNN)를 사용함으로써, 초저속 측정률에서도 최신 기술을 초월하는 성능을 달성한다. 특히 2% 측정률에서 이전 방법보다 8 dB 이상의 PSNR 향상을 기록한다.

ABSTRACT

Low-rank signal modeling has been widely leveraged to capture non-local correlation in image processing applications. We propose a new method that employs low-rank tensor factor analysis for tensors generated by grouped image patches. The low-rank tensors are fed into the alternative direction multiplier method (ADMM) to further improve image reconstruction. The motivating application is compressive sensing (CS), and a deep convolutional architecture is adopted to approximate the expensive matrix inversion in CS applications. An iterative algorithm based on this low-rank tensor factorization strategy, called NLR-TFA, is presented in detail. Experimental results on noiseless and noisy CS measurements demonstrate the superiority of the proposed approach, especially at low CS sampling rates.

연구 동기 및 목표

• 기존 저질서 방법에서 2차원 이미지 패치를 벡터화하는 방식의 한계를 해결하여 공간적 구조를 손실하지 않도록 한다.
• 유사한 패치들을 3차원 텐서로 그룹화하여 이미지의 비국소 자기유사성을 활용하고 공간 상관관계를 유지한다.
• 행렬 기반 접근 방식을 넘어서 고차원 구조 정보를 포착할 수 있는 텐서 기반 저질서 분해 프레임워크를 개발한다.
• ADMM 기반 이미지 복원에서 내부 루프의 행렬 역행렬 계산을 대체하기 위해 미리 학습된 딥 컨volution 신경망을 활용하여 계산 효율성을 향상시킨다.
• 특히 초저속 측정률(예: 2%) 및 노이즈가 있는 조건에서 우수한 성능을 보여주는 압축 센싱 이미지 복원 성능을 입증한다.

제안 방법

• 기준 패치 주변의 유사한 패치들을 3차원 텐서로 그룹화하여 패치의 2차원 공간적 구조를 유지한다.
• 각 텐서 그룹에 대해 저질서 텐서 분해(TFA)를 적용하여 비국소 상관관계를 활용하고 패치 그룹 간 잠재 특징을 추출한다.
• 저질서 텐서 제약 조건을 포함한 제약 최적화 문제로 이미지 복원 문제를 설정하고, 교차 방법 다중수단(ADMM)을 사용한다.
• ADMM의 고비용 행렬 역행렬 단계를, 역행렬 연산을 근사하기 위해 미리 학습한 딥 컨volution 신경망(CNN)으로 대체한다.
• 평가를 위해 압축 센싱(CS) 측정값을 생성하기 위해 의사-원형 측정 방식을 사용한다.
• 학습된 역행렬 네트워크를 ADMM 프레임워크에 통합하여 반복적인 내부 솔버 없이도 빠르고 종단 간 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 텐서 표현을 통해 이미지 패치의 2차원 공간적 구조를 유지함으로써, 기존의 벡터화된 행렬 기반 접근 방식에 비해 저질서 모델링 성능이 향상되는가?
• RQ2 그룹화된 비국소 패치에 대해 저질서 텐서 분해를 적용할 경우, 특히 저속 측정률에서 압축 센싱의 이미지 복원 품질이 향상되는가?
• RQ3 딥 컨volution 네트워크가 ADMM 기반 이미지 복원에서 계산 비용이 큰 행렬 역행렬 단계를 효과적으로 근사할 수 있는가? 이는 정확도를 희생시키지 않고 수렴 속도를 향상시킬 수 있는가?
• RQ4 노이즈가 있는 압축 센싱 조건에서 제안된 NLR-TFA 방법은 기존 최신 기술 대비 어떻게 성능을 발휘하는가?
• RQ5 텐서 기반 복원에서 최적의 패치 크기는 무엇이며, 이는 PSNR와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 압축 센싱 측정률 2%에서 NLR-TFA는 파파고 이미지에 대해 PSNR 28.54 dB를 기록하여 D-AMP보다 8 dB 이상 뛰어나다.
• 10% 측정률에서 노이즈 측정값(σ=30)을 가진 보트 이미지에 대해 NLR-TFA는 PSNR 30.97 dB를 달성하여 TVAL3(24.02 dB)와 DAMP(24.71 dB)를 크게 앞서며 우수한 성능을 보였다.
• 4×4 패치 크기에서 포리먼 이미지의 PSNR는 10% 측정률에서 36.02 dB를 기록하여, 더 작은 패치가 더 뛰어난 복원 품질을 제공함을 입증하였다.
• 딥 컨volution 네트워크 기반의 역행렬 근사 방법은 공액 기울기와 같은 내부 루프 솔버가 필요한 기존 방법 대비 런타임을 크게 단축시키면서도 높은 정확도를 유지한다.
• 노이즈에 대해 강건함을 보였다: 노이즈가 증가함에 따라 PSNR의 감소가 느리며, BM3D-CS와 NLR-CS에 비해 고노이즈 수준에 더 민감하지 않다.
• 모든 테스트 이미지와 측정률에서 평균 PSNR가 가장 높았으며, 8% 측정률에서 평균 28.22 dB를 기록하여 D-AMP의 23.69 dB를 뛰어넘었다.