[논문 리뷰] DIFAR: Deep Image Formation and Retouching

Seán Moran, Greg Slabaugh|arXiv (Cornell University)|2019. 11. 29.

Image and Signal Denoising Methods인용 수 2

한 줄 요약

DIFAR는 다중 척도의 맥락 인지형 노이즈 제거/디모사이싱 및 전역 리터치 블록을 통합하여 기존의 이미지 신호 처리(ISP) 파이프라인을 대체하는 파rameter 효율적인 딥 뉴럴 네트워크이다. 이는 삼성 S7 및 MIT-Adobe 5k와 같은 데이터셋에서 객관적 및 주관적 지표 모두에서 최신 기술 수준의 이미지 품질 성능을 달성한다.

ABSTRACT

We present a novel neural network architecture for the image signal processing (ISP) pipeline. In a camera system, the ISP is a critical component that forms a high quality RGB image from RAW camera sensor data. Typical ISP pipelines sequentially apply a complex set of traditional image processing modules, such as demosaicing, denoising, tone mapping, etc. We introduce a new deep network that replaces all these modules, dubbed Deep Image Formation And Retouching (DIFAR). DIFAR introduces a multi-scale context-aware pixel-level block for local denoising/demosaicing operations and a retouching block for global refinement of image colour, luminance and saturation. DIFAR can also be trained for RGB to RGB image enhancement. DIFAR is parameter-efficient and outperforms recently proposed deep learning approaches in both objective and perceptual metrics, setting new state-of-the-art performance on multiple datasets including Samsung S7 and MIT-Adobe 5k.

연구 동기 및 목표

• 복잡하고 순차적인 기존 ISP 파이프라인을 통합된 딥 뉴럴 아키텍처로 대체하기 위해.
• 지역적 및 전역적 이미지 특성의 공동 최적화를 통해 RAW에서 RGB로의 변환 과정에서의 이미지 품질 향상하기 위해.
• 낮은 모델 파라미터 수로 높은 성능을 달성하여 효율성과 구현 가능성 향상시키기 위해.
• RAW에서 RGB로, 그리고 RGB에서 RGB로의 이미지 향상 작업 모두를 엔드 투 엔드로 훈련 가능하게 하기 위해.
• 객관적 및 주관적 이미지 품질 지표에서 새로운 최고 성능 기록 달성하기 위해.

제안 방법

• 공간적 및 특징 수준의 맥락을 활용하여 다중 척도의 맥락 인지형 픽셀 수준 블록을 도입하여 지역적 노이즈 제거 및 디모사이싱을 수행한다.
• 전체 이미지의 색상, 밝기, 채도를 전역적으로 개선하기 위해 별도의 리터치 블록을 활용한다.
• 디모사이싱, 노이즈 제거, 톤 매핑 등의 기존 ISP 모듈을 대체하는 통합 네트워크 아키텍처를 설계한다.
• RAW 이미지와 해당 고해상도 RGB 이미지 쌍을 사용하여 지도 학습 기반으로 네트워크를 엔드 투 엔드로 훈련한다.
• 다중 목적 손실 함수를 통해 객관적 지표(예: PSNR, SSIM)와 주관적 품질을 동시에 최적화한다.
• 아키텍처 변경 없이 RGB에서 RGB로의 이미지 향상 작업에 대해 전이 학습 및 미세 조정을 지원한다.

실험 결과

연구 질문

• RQ1 단일 딥 뉴럴 네트워크가 기존 ISP 파이프라인을 뛰어난 성능으로 효과적으로 대체할 수 있는가?
• RQ2 다중 척도 맥락 모델링은 디모사이징 및 노이즈 제거 과정에서 지역적 이미지 재구성에 어떻게 기여하는가?
• RQ3 전역 리터치 블록은 지역 처리를 초월하여 주관적 이미지 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 아키텍처는 파라미터 효율성을 유지하면서도 최신 기술 수준의 성능을 달성하는가?
• RQ5 모델은 삼성 S7 및 MIT-Adobe 5k와 같은 다양한 데이터셋에 대해 일반화 가능한가?

주요 결과

• DIFAR는 최근 제안된 딥 러닝 기반 ISP 방법들보다 객관적 및 주관적 이미지 품질 지표에서 모두 뛰어난 성능을 보였다.
• 삼성 S7 및 MIT-Adobe 5k 데이터셋에서 최신 기술 수준의 성능을 달성하여 새로운 기준을 설정하였다.
• DIFAR는 강력한 파라미터 효율성을 보이며, 경쟁 모델들보다 훨씬 적은 학습 가능한 파라미터로 높은 성능을 달성하였다.
• 지역적 다중 척도 맥락과 전역 리터치 블록의 통합은 뛰어난 이미지 재구성 및 향상 성능을 이끌어냈다.
• 이 프레임워크는 RAW에서 RGB로의 변환 외에도 RGB에서 RGB로의 이미지 향상 작업에 성공적으로 일반화되어 있으며, 유연성을 입증하였다.
• 주관적 지표는 DIFAR가 더 나은 색상 충실도와 낮은 노이즈를 가진 시각적으로 개선된 이미지를 생성함을 확인하였다.