[논문 리뷰] Depth image denoising using nuclear norm and learning graph model

Chenggang Yan, Zhisheng Li외 4명|arXiv (Cornell University)|2020. 08. 09.

Image and Signal Denoising Methods참고 문헌 46인용 수 12

한 줄 요약

이 논문은 깊이 영상의 노이즈 제거를 위해 군집 기반 핵형 노름과 학습된 그래프 라플라시안 행렬(GNNLG) 모델을 제안한다. 이는 학습된 그래프 라플라시안을 통해 저질서 및 비국소 자기유사성 사전 지식을 활용하여 부드러운 처리를 향상시킨다. 최적화에 ADMM를 사용하여, PSNR 및 SSIM 측정치에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 표준 깊이 영상 데이터셋에서 노이즈 수준 σ = 30까지의 성능을 평가하였다.

ABSTRACT

The depth images denoising are increasingly becoming the hot research topic nowadays because they reflect the three-dimensional (3D) scene and can be applied in various fields of computer vision. But the depth images obtained from depth camera usually contain stains such as noise, which greatly impairs the performance of depth related applications. In this paper, considering that group-based image restoration methods are more effective in gathering the similarity among patches, a group based nuclear norm and learning graph (GNNLG) model was proposed. For each patch, we find and group the most similar patches within a searching window. The intrinsic low-rank property of the grouped patches is exploited in our model. In addition, we studied the manifold learning method and devised an effective optimized learning strategy to obtain the graph Laplacian matrix, which reflects the topological structure of image, to further impose the smoothing priors to the denoised depth image. To achieve fast speed and high convergence, the alternating direction method of multipliers (ADMM) is proposed to solve our GNNLG. The experimental results show that the proposed method is superior to other current state-of-the-art denoising methods in both subjective and objective criterion.

연구 동기 및 목표

• 깊이 카메라에서 유도된 깊이 영상의 노이즈 오염 문제를 해결함으로써 3D 비전 응용 분야의 성능 저하를 완화하고자 한다.
• 깊이 영상의 본질적인 저질서 및 비국소 자기유사성 특성을 활용하여 노이즈 제거 성능을 향상시키고자 한다.
• 이미지 패치의 내재된 다양체 구조를 잘 반영하는 강력한 그래프 라플라시안 구축 방법을 개발하고자 한다.
• 비볼록 노이즈 제거 모델에 대해 빠른 수렴 속도와 높은 안정성을 확보한 효율적인 최적화 프레임워크를 설계하고자 한다.
• 정량적 지표와 시각적 품질 측면에서 기존 최신 기술 수준의 노이즈 제거 방법들을 능가하고자 한다.

제안 방법

• 각 패치 주변의 검색 창에서 유사한 패치를 군집하여 비국소 자기유사성을 활용한다.
• 군집된 패치에 핵형 노름 정규화를 적용하여 저질서 구조를 강제함으로써 이미지의 내재된 콘텐츠를 모델링한다.
• 데이터에서 학습된 그래프 라플라시안 행렬을 통해 이미지 패치의 내재된 위상적 구조를 표현한다.
• 데이터 적합성, 저질서, 그래프 정규화 항을 통합한 공동 최적화 문제를 제안한다.
• 비볼록 최적화 문제를 효율적으로 해결하기 위해 분할 상수 방법(ADMM)을 사용한다.
• 지역 이미지 구조에 적응하는 반복 전략을 통해 그래프 라플라시안을 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 그래프 정규화를 갖춘 군집 기반 저질서 모델이 기존 방법들보다 깊이 영상의 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 고정된 거리 기반 그래프 구조와 비교했을 때, 학습된 그래프 라플라시안은 이미지의 구조를 얼마나 잘 포착하는가?
• RQ3 핵형 노름과 그래프 기반 사전 지식을 통합함으로써 PSNR 및 SSIM 측정치에서 더 나은 노이즈 제거 성능을 달성할 수 있는가?
• RQ4 ADMM는 제안된 비볼록 최적화 문제를 얼마나 효율적으로 해결하며, 수렴 속도와 안정성은 어떠한가?
• RQ5 이 방법은 노이즈가 포함된 깊이 영상에서 미세한 구조와 에지 정보를 얼마나 잘 보존하는가?

주요 결과

• 제안된 GNNLG 방법은 σ = 25일 때 평균 PSNR 37.36 dB, SSIM 0.9539를 기록하여 비교된 모든 방법들을 능가한다.
• σ = 30일 때 GNNLG는 평균 PSNR 36.20 dB, SSIM 0.9463을 달성하여 NLM, CSR, NLGBT, BM3D, WNNM를 뚜렷이 앞서간다.
• Moebius, Teddy, Art, Cones 등의 이미지에서의 시각적 비교 결과, GNNLG는 NLM, BM3D, WNNM보다 더 뛰어난 미세 구조 보존과 잡음 제거 성능을 보였다.
• σ = 15일 때 Moebius 이미지에 대해 GNNLG는 PSNR 41.37 dB를 기록하여 BM3D(40.71 dB)와 WNNM(40.28 dB)를 초월하였다.
• ADMM 기반 솔버는 높은 수렴 속도와 안정성을 보였으며, 알고리즘의 강건성과 자가 적응성의 타당성을 입증하였다.
• 학습된 그래프 라플라시안은 비국소 자기유사성과 내재된 다양체 구조를 효과적으로 포착하여 뛰어난 스무딩 및 노이즈 억제 성능을 보였다.