[논문 리뷰] Learning Deep Convolutional Networks for Demosaicing

Nai-Sheng Syu, Yu‐Sheng Chen외 1명|arXiv (Cornell University)|2018. 02. 11.

Image and Signal Denoising Methods참고 문헌 7인용 수 57

한 줄 요약

본 논문은 Bayer CFA 이미지를 디모자이싱하기 위해 두 개의 엔드-투-엔드 CNN 모델(DMCNN 및 DMCNN-VD)을 제시하고, 최첨단 결과를 보여주며 기타 CFA 및 SVEC 설정으로 확장하고, 공동 CFA 설계 및 디모자이싱을 포함한다.

ABSTRACT

This paper presents a comprehensive study of applying the convolutional neural network (CNN) to solving the demosaicing problem. The paper presents two CNN models that learn end-to-end mappings between the mosaic samples and the original image patches with full information. In the case the Bayer color filter array (CFA) is used, an evaluation with ten competitive methods on popular benchmarks confirms that the data-driven, automatically learned features by the CNN models are very effective. Experiments show that the proposed CNN models can perform equally well in both the sRGB space and the linear space. It is also demonstrated that the CNN model can perform joint denoising and demosaicing. The CNN model is very flexible and can be easily adopted for demosaicing with any CFA design. We train CNN models for demosaicing with three different CFAs and obtain better results than existing methods. With the great flexibility to be coupled with any CFA, we present the first data-driven joint optimization of the CFA design and the demosaicing method using CNN. Experiments show that the combination of the automatically discovered CFA pattern and the automatically devised demosaicing method significantly outperforms the current best demosaicing results. Visual comparisons confirm that the proposed methods reduce more visual artifacts than existing methods. Finally, we show that the CNN model is also effective for the more general demosaicing problem with spatially varying exposure and color and can be used for taking images of higher dynamic ranges with a single shot. The proposed models and the thorough experiments together demonstrate that CNN is an effective and versatile tool for solving the demosaicing problem.

연구 동기 및 목표

• 기존 방법의 손으로 만든 특징의 한계와 전통적 방법에서 발생하는 인공물을 극복하기 위해 학습 기반의 디모자이싱에 동기를 부여한다.
• 모자이크 샘플을 전체 컬러 이미지 패치로 매핑하는 엔드-투-엔드 CNN 아키텍처를 개발한다.
• sRGB와 선형 공간 모두에서의 개선을 입증하고 노이즈 제거-디모자이싱 및 CFA 설계 최적화를 탐구한다.
• Bayer를 넘어서는 CFA 및 SVEC(공간적으로 가변 노출/색상) 설정을 수용하는 유연성을 보여준다.

제안 방법

• DMCNN 설계: 33x33 모자이크 패치를 33x33x3 입력으로 확장한 3-층 CNN; 세 층은 피처 추출(128 9x9 필터), 비선형 매핑(64 1x1 필터), 재구성(5x5 필터)을 수행; ReLU 및 L2 손실 사용.
• DMCNN-VD 개발: 잔차 학습이 적용된 매우 깊은 20-층 CNN; 각 층은 컨볼루션, 배치 정규화, SELU 활성화 포함; 최종 층은 바일리니 아이업샘플된 베이스라인에 더해질 잔차를 예측.
• Flickr500 데이터셋으로 학습; 3x3 커널 및 1-픽셀 패딩; MSRA 초기화; Adam 옵티마이저; DMCNN-VD의 잔차 학습.
• 비- Bayer CFA 및 SVEC(공간적으로 가변 노출 및 색상) 패턴으로 확장; 데이터 기반 CFA 설계 및 CFA-디모자이싱의 공동 최적화를 수행.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 CNN이 핸드메이드 사전 지식 없이 모자이크 샘플에서 직접 효과적인 디모자이싱 특징을 학습할 수 있는가?
• RQ2 깊은 네트워크에서 잔차 학습이 얕은 CNN보다 디모자이싱 품질을 향상시키는가?
• RQ3 CNN 기반 디모자이싱이 CFA 설계에 일반화되고 sRGB와 선형 색공간 모두에서 작동하는가?
• RQ4 데이터 기반 학습을 통해 CFA 설계와 디모자이싱을 공동으로 최적화하는 것이 가능한가?
• RQ5 CNN 방식이 SVEC 패턴 및 더 높은 다이내믹 레인지 시나리오에서 일반화된 디모자이싱을 다룰 수 있는가?

주요 결과

• DMCNN-VD는 Kodak+McM에서 CPSNR이 41.05까지 도달하며 이전 방법보다 현저한 차이로 우수한 성능을 보인다.
• DMCNN(얕은 모델)은 경쟁력은 있으나 최첨단과는 뒤떨어진 편; 깊이와 잔차 학습이 결과를 크게 향상시킨다.
• Flickr500에서 학습된 CNN 모델은 대부분의 설정에서 희소 코딩 baselines를 능가하고 GPU 가속으로 상당한 속도 이점을 제공한다.
• 데이터 기반 CFA 설계(DMCNN-VD-Pa) 및 SVEC 디모자이싱은 더 나은 아티팩트 억제를 위해 CFA 패턴과 디모자이싱을 함께 최적화할 수 있음을 보여준다.
• 노이즈/선형 공간 데이터에 대한 전달 학습(DMCNN-VD-Tr)은 노이즈가 있는 MDD 데이터에서 상당한 성능 향상을 보여주며 실용적 적응성을 입증한다.