[논문 리뷰] Deep Gaussian Conditional Random Field Network: A Model-based Deep Network for Discriminative Denoising

Raviteja Vemulapalli, Oncel Tuzel외 1명|arXiv (Cornell University)|2015. 11. 12.

Image and Signal Denoising Methods참고 문헌 35인용 수 8

한 줄 요약

이 논문은 다중 노이즈 수준에서 이미지의 노이즈를 제거하기 위해 종단간(end-to-end)으로 모델을 훈련시키는 딥 가우시안 조건부 랜덤 필드(GCRF) 네트워크를 제안한다. 기존 방법들이 각 노이즈 수준마다 별도의 모델이 필요한 데 반해, 이는 입력 노이즈 분산을 명시적으로 모델링하여 반복적 HQS 기반 추론과 적응형, 패치 기반 잠재 변수 매개수를 사용해 버클리 및 PASCAL VOC 데이터셋에서 최신 기준 PSNR 성능을 달성한다.

ABSTRACT

We propose a novel deep network architecture for image\\ denoising based on a Gaussian Conditional Random Field (GCRF) model. In contrast to the existing discriminative denoising methods that train a separate model for each noise level, the proposed deep network explicitly models the input noise variance and hence is capable of handling a range of noise levels. Our deep network, which we refer to as deep GCRF network, consists of two sub-networks: (i) a parameter generation network that generates the pairwise potential parameters based on the noisy input image, and (ii) an inference network whose layers perform the computations involved in an iterative GCRF inference procedure.\ We train the entire deep GCRF network (both parameter generation and inference networks) discriminatively in an end-to-end fashion by maximizing the peak signal-to-noise ratio measure. Experiments on Berkeley segmentation and PASCALVOC datasets show that the proposed deep GCRF network outperforms state-of-the-art image denoising approaches for several noise levels.

연구 동기 및 목표

• 기존의 깊이 학습 기반 노이즈 제거 네트워크가 각 노이즈 수준마다 별도의 모델이 필요로 하는 한계를 해결한다.
• 모델 기반 가우시안 CRF 사전 지식을 깊이 학습 프레임워크에 통합하여 노이즈 수준 간 일반화 능력을 향상시킨다.
• 이미지 노이즈 제거를 위한 매개수 생성과 추론을 동시에 최적화하는 학습 가능한 아키텍처를 개발한다.
• PSNR를 최적화 목표로 사용하여 종단간 구분 기반 훈련을 가능하게 한다.
• 데이터 기반의 패치 기반 잠재 함수 매개수를 사용하여 가장자리 보존을 향상시키고 과도한 부드러움을 줄인다.

제안 방법

• GCRF 기반 노이즈 제거를 위한 두 개의 스트림 딥 네트워크인 매개수 생성 네트워크(PgNet)와 추론 네트워크(InfNet)를 제안한다.
• PgNet이 $d\times d$ 이미지 패치에서 작동하며, 패치 기반 특징 추출을 통해 공간적으로 적응형 쌍방향 잠재 변수 매개수를 생성한다.
• 반복적 추론 방법으로 반분할 제곱 분할(HQS)을 사용하며, 이는 InfNet 내에서 미분 가능한 HQS 레이어로 구현되어 효율적이고 미분 가능한 최적화를 가능하게 한다.
• 각 HQS 반복 후에 다중 PgNets를 도입하여 점차적으로 노이즈가 제거된 특징 기반으로 잠재 변수 매개수를 정밀하게 조정함으로써 고노이즈에 대한 강건성을 향상시킨다.
• 학습된 조합 가중치 $\gamma_{ij}^k$를 사용하여 국소적 잠재 변수 매개수를 전역적 이미지 수준의 쌍방향 잠재 변수로 통합한다.
• 모든 구성 요소, 특히 HQS 레이어와 매개수 조합에 대해 닫힌 형태의 도함수를 사용하여 전체 네트워크를 종단간 backpropagation가 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 노이즈 분산을 명시적으로 모델링하는 딥 네트워크가 다중 노이즈 수준에서 기존의 구분 기반 노이즈 제거 방법을 초월할 수 있는가?
• RQ2 모델 기반 GCRF 사전 지식을 깊이 학습 프레임워크에 통합하면 노이즈 제거 성능과 일반화 능력이 향상되는가?
• RQ3 반복적 HQS 기반 추론이 깊이 학습 네트워크 내에서 효과적으로 미분 가능하고 학습 가능한가?
• RQ4 각 HQS 단계 이후에 중간 PgNets를 도입하면 고노이즈 수준에 대한 강건성이 향상되는가?
• RQ5 재훈련 없이도 단일 통합 네트워크가 다중 노이즈 수준에서 최신 기술(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 딥 GCRF 네트워크는 노이즈 수준 $\sigma = 15$, $\sigma = 25$, 및 $\sigma = 50$에서 버클리 세그멘테이션 데이터셋에서 최신 기준 PSNR 성능을 달성하며, BM3D 및 기타 딥 러닝 기반 기준선을 능가한다.
• PASCAL VOC 데이터셋에서 $\sigma = 50$일 경우 32.15 dB의 최고 PSNR를 기록하여, 양자화되지 않은 설정에서 TRD 및 RTF$_5$를 포함한 모든 비교 방법을 능가한다.
• 68개 이미지 벤치마크에서, 양자화 설정에서는 두 번째로 높은 PSNR를 기록했고, 비양자화 설정에서는 가장 높은 PSNR를 기록하여 평가 프로토콜 간 강건성을 입증했다.
• 시각적 결과에서 기준선 방법 대비 더 선명한 이미지와 더 적은 잡음 요소를 생성함으로써, 특히 가장자리와 미세 무늬를 잘 보존하는 것으로 나타났다.
• NVIDIA Titan GPU에서 $321 \times 481$ 이미지당 4.4초의 계산 시간을 기록하여, 반복적 추론과 고해상도 처리를 수행하는 모델로서는 효율적인 편이다.
• 제거 분석(ablation study) 결과, 각 HQS 반복 후에 다중 PgNets를 포함함으로써 고노이즈 수준에서 특히 성능 향상이 뚜렷하게 나타나며, 잠재 변수 매개수의 적응형 정밀 조정이 가능함을 확인했다.