[논문 리뷰] Deep Residual Network for Joint Demosaicing and Super-Resolution

Ruofan Zhou, Radhakrishna Achanta외 1명|arXiv (Cornell University)|2018. 02. 19.

Advanced Image Processing Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 저해상도 Bayer 모자이크에서 고해상도 색상 이미지로 직접 매핑하는 엔드 투 엔드 병렬 디모자이싱 및 초해상도 증강을 위한 딥 리스크리드 네트워크를 제안한다. 두 작업을 함께 최적화함으로써 순차적 처리에서 발생하는 잡음 요소를 제거하고, 이전 방법들보다 평균 PSNR가 1.3 dB 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In digital photography, two image restoration tasks have been studied extensively and resolved independently: demosaicing and super-resolution. Both these tasks are related to resolution limitations of the camera. Performing super-resolution on a demosaiced images simply exacerbates the artifacts introduced by demosaicing. In this paper, we show that such accumulation of errors can be easily averted by jointly performing demosaicing and super-resolution. To this end, we propose a deep residual network for learning an end-to-end mapping between Bayer images and high-resolution images. By training on high-quality samples, our deep residual demosaicing and super-resolution network is able to recover high-quality super-resolved images from low-resolution Bayer mosaics in a single step without producing the artifacts common to such processing when the two operations are done separately. We perform extensive experiments to show that our deep residual network achieves demosaiced and super-resolved images that are superior to the state-of-the-art both qualitatively and in terms of PSNR and SSIM metrics.

연구 동기 및 목표

• 디모자이싱과 초해상도 증강을 순차적으로 적용할 경우 발생하는 잡음 요소(예: 색상 지퍼링, 블러링) 등 성능 저하 문제를 해결하기 위해.
• 디모자이싱과 초해상도 증강을 하나의 엔드 투 엔드 딥 러닝 프레임워크로 통합하여 이미지 품질을 향상시키기 위해.
• 디모자이싱과 초해상도 증강을 별도 단계로 처리할 경우 발생하는 오차 전파 문제를 제거하기 위해.
• 병합 최적화가 최신 기술 수준의 순차적 파이프라인에 비해 뛰어난 시각적 품질과 정량적 지표(PSNR, SSIM)를 제공함을 입증하기 위해.

제안 방법

• 이 방법은 RGGB Bayer 패턴에서 고해상도 색상 이미지로의 엔드 투 엔드 매핑을 학습하기 위해 딥 리스크리드 네트워크(ResNet)를 활용한다.
• 네트워크는 Bayer 모자이크와 해당 고해상도 기준 이미지의 고품질 쌍으로 구성된 데이터를 기반으로 훈련된다.
• 아키텍처는 모든 세 가지 색상 채널을 동시에 처리하여 이전 초해상도 방법에서 흔히 볼 수 있는 밝기-색상 분리 처리가 필요 없도록 한다.
• 최소한의 수정만으로도 다른 CFA 패턴에 일반화할 수 있도록 설계되었으며, 적응을 위해 단지 두 개의 추가 레이어만 필요하다.
• 딥 아키텍처에서 훈련 안정성과 특징 학습 성능 향상을 위해 리스크리드 러닝 블록을 사용한다.
• 예측된 고해상도 이미지와 기준 이미지 간의 재구성 오차를 최소화하기 위해 표준 손실 함수(L2 또는 L1 등)를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 활용해 디모자이싱과 초해상도 증강을 병합 최적화할 경우, 순차적 처리 대비 잡음 요소를 줄일 수 있는가?
• RQ2 엔드 투 엔드 딥 리스크리드 네트워크가 PSNR 및 SSIM 지표 모두에서 최신 기술 수준의 순차적 파이프라인을 초월하는가?
• RQ3 네트워크는 최소한의 아키텍처 수정으로 다른 색 필터 어레이(CFA) 패턴에 일반화 가능한가?
• RQ4 병합 접근 방식은 디모자이싱과 초해상도 증강을 별도로 처리하는 것보다 계산 효율성이 높은가?
• RQ5 이 방법은 모리레 또는 지퍼링 잡음 요소를 유발하지 않으면서도 세밀한 디테일과 색상 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 테스트 세트에서 평균 PSNR 31.4093 dB를 달성하여, 다음으로 우수한 방법(DemosaicNet + SRCNN)보다 1.3 dB 높다.
• 이 방법은 평균 SSIM 0.9476을 기록하여, 다음으로 뛰어난 방법(30.1313 dB PSNR, 0.9374 SSIM)보다 유의미하게 높다.
• 시각적 결과에서는 색상 잡음이나 블러링이 없으며, FlexISP + SRCNN 및 SEM + SRCNN 등의 순차적 방법에 비해 뛰어난 디테일 복원 성능을 보였다.
• Titan X에서 256×256 이미지당 619ms로 실행되며, 이는 DemosaicNet의 디모자이싱 전용 처리 시간인 650ms보다 빠르며, 계산 효율성을 입증한다.
• 단지 두 개의 추가 레이어만으로도 다른 CFA 패턴에 일반화 가능하여 아키텍처의 유연성을 보였다.
• 병합 접근 방식은 순차적 파이프라인에서 흔히 발생하는 색상 지퍼링 및 모리레 패턴과 같은 잡음 요소를 완전히 제거했다.