[논문 리뷰] A Set-Theoretic Study of the Relationships of Image Models and Priors for Restoration Problems

Bihan Wen, Yanjun Li외 2명|arXiv (Cornell University)|2020. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 영상 복원 분야에서 희박성, 그룹 병합 희박성, 공동 희박성, 낮은 질서성 등의 이미지 모델에 대해 집합 이론적 분석을 제시하며, 이들의 계층적 관계를 규명하고 노이즈 제거 성능을 정량화한다. 노이즈가 있는 영상을 모델 집합에 사영하고, 볼록 가중치를 사용해 결과를 조합함으로써, 특히 딥 러닝과 그룹 병합 희박성 및 낮은 질서성과 같은 상보적인 모델 기반 사전 지식을 결합할 경우 향상된 노이즈 제거 성능을 달성한다.

ABSTRACT

Image prior modeling is the key issue in image recovery, computational imaging, compresses sensing, and other inverse problems. Recent algorithms combining multiple effective priors such as the sparse or low-rank models, have demonstrated superior performance in various applications. However, the relationships among the popular image models are unclear, and no theory in general is available to demonstrate their connections. In this paper, we present a theoretical analysis on the image models, to bridge the gap between applications and image prior understanding, including sparsity, group-wise sparsity, joint sparsity, and low-rankness, etc. We systematically study how effective each image model is for image restoration. Furthermore, we relate the denoising performance improvement by combining multiple models, to the image model relationships. Extensive experiments are conducted to compare the denoising results which are consistent with our analysis. On top of the model-based methods, we quantitatively demonstrate the image properties that are inexplicitly exploited by deep learning method, of which can further boost the denoising performance by combining with its complementary image models.

연구 동기 및 목표

• 이미지 복원의 맥락에서 핵심 이미지 모델들인 희박성, 그룹 병합 희박성, 공동 희박성, 낮은 질서성 간의 이론적 관계를 명확히 하기.
• 모델링 오차와 생존 노이즈 에너지를 분석하여 각 이미지 모델의 노이즈 제거 효과성을 평가하기.
• 서로 보완적인 이미지 모델을 조합할 경우 복원 성능 향상이 이루어지는 이론적 조건을 제시하기.
• 최신 딥 러닝 방법인 DnCNN이 암묵적으로 활용하는 이미지 사전 지식을 규명하고, 모델 기반 방법과의 조합을 통해 성능 향상을 어떻게 달성할 수 있는지 보여주기.
• 이미지 모델 간의 구조적 관계를 활용하여 하이브리드 복원 프레임워크 설계를 안내하기.

제안 방법

• 희박성, 그룹 병합 희박성, 공동 희박성, 낮은 질서성의 해집합으로 이미지 모델 집합을 정의하고, 집합 이론적 분석을 통해 이들의 계층적 관계를 수립한다.
• 모델이 유일한 사전 지식이라고 가정하고, 이러한 모델 집합에 사영하는 최대우도 추정을 통해 영상 노이즈 제거를 수행한다.
• 볼록 조합 프레임워크를 제안: 여러 모델의 사영을 통해 노이즈 제거를 수행하고, 고정된 가중치(예: μ=0.5)를 사용해 결과를 조합하여 SNR 향상.
• 딥 러닝(DnCNN)과 모델 기반 방법(KSVD, SSC-GSM, WNNM)을 조합하기 위해 프레임워크를 적용하고, 고정된 가중치를 사용해 성능 향상을 평가한다.
• 역문제의 대리로 영상 노이즈 제거를 사용하며, 개선도를 정량화하기 위해 SNR과 PSNR를 평가 지표로 활용한다.
• Kodak 및 Urban100 데이터셋에서 광범위한 실험을 수행하여 이론적 주장의 타당성을 검증하고, 모델 조합으로 인한 실증적 성과 향상을 입증한다.

실험 결과

연구 질문

• RQ1 희박성, 그룹 병합 희박성, 공동 희박성, 낮은 질서성 모델의 해집합 간 이론적 관계(포함, 동치, 계층)는 무엇인가?
• RQ2 각 이미지 모델의 노이즈 제거 효과성은 모델링 오차와 잔류 노이즈 에너지에 어떻게 의존하는가?
• RQ3 서로 보완적인 두 이미지 모델을 조합할 경우 어떤 조건에서 노이즈 제거 성능 향상이 이루어지는가?
• RQ4 DnCNN과 같은 딥 러닝 방법이 암묵적으로 활용하는 이미지 특성은 무엇이며, 이를 모델 기반 사전 지식과의 조합을 통해 어떻게 명시적으로 향상시킬 수 있는가?
• RQ5 딥 러닝과 모델 기반 노이즈 제거 결과의 단순한 볼록 조합이 최신 기술 대비 측정 가능한 성능 향상을 이끌 수 있는가?

주요 결과

• 집합 이론적 분석을 통해 낮은 질서성과 그룹 병합 희박성이 일반적으로 희박성과 공동 희박성보다 더 포괄적인 성격을 지닌 것으로 드러났으며, 온건한 가정 하에 벤 다이어그램 관계가 확인되었다.
• DnCNN과 WNNM(낮은 질서성 그룹 모델)을 조합했을 경우, Urban100 데이터셋에서 σ=70일 때 PSNR가 0.64 dB 향상되었으며, DnCNN+KSVD는 성능 향상이 없었는데, 이는 DnCNN이 이미 局부 희박성을 충분히 반영하고 있음을 시사한다.
• DnCNN과 SSC-GSM(그룹 병합 희박성)을 조합했을 경우, σ=70일 때 PSNR가 0.51 dB 향상되었으며, 이는 DnCNN이 비국소적 구조인 자기 유사성의 특성을 부분적으로만 반영하고 있음을 보여준다.
• μ=0.5로 설정된 볼록 조합 프레임워크는 Urban100에서 뚜렷한 성능 향상을 이끌었으며, DnCNN+WNNM는 σ=30일 때 PSNR 28.82를 기록해 DnCNN 단독 성능(28.16)을 초월했다.
• 시각적 결과에서는 DnCNN이 미세한 디테일를 유지하지만 아티팩트를 유발하는 반면, WNNM은 매끄러운 결과를 내지만 아티팩트를 발생시키는 경향이 있었으며, 이들의 조합은 PSNR와 시각적 품질 양면에서 향상되었다.
• 본 연구는 딥 러닝 모델인 DnCNN이 암묵적으로 국소 희박성을 활용하지만, 비국소적 이미지 자기 유사성은 완전히 반영하지 못함을 확인하였으며, 이를 그룹 병합 희박성 및 낮은 질서성 모델과의 조합을 통해 복원할 수 있음을 보여주었다.