[논문 리뷰] Joint demosaicing and denoising by overfitting of bursts of raw images.

Thibaud Ehret, Axel Davy외 2명|arXiv (Cornell University)|2019. 05. 13.

Image and Signal Denoising Methods인용 수 14

한 줄 요약

이 논문은 실제 RAW 데이터에 대한 오버피팅을 활용하여 원시 이미지 버스트에서 동시에 디모사이킹과 노이즈 제거를 수행하는 새로운 딥러닝 방법을 제안한다. 이를 통해 시뮬레이션된 진짜 레이블이 필요 없이도, 실제 데이터에서의 엔드 투 엔드 학습이 가능해지며, 이로 인해 보다 뛰어난 복원 품질을 달성한다. 동일한 장면에서 촬영한 이미지 버스트에 네트워크를 피지컬하게 튜닝함으로써, 쌍이 맞는 RGB 진짜 레이블이 없더라도 우수한 복원 품질을 달성할 수 있다.

ABSTRACT

Demosaicking and denoising are the first steps of any camera image processing pipeline and are key for obtaining high quality RGB images. A promising current research trend aims at solving these two problems jointly using convolutional neural networks. Due to the unavailability of ground truth data these networks cannot be currently trained using real RAW images. Instead, they resort to simulated data. In this paper we present a method to learn demosaicking directly from mosaicked images, without requiring ground truth RGB data. We apply this to learn joint demosaicking and denoising only from RAW images, thus enabling the use of real data. In addition we show that for this application fine-tuning a network to a specific burst improves the quality of restoration for both demosaicking and denoising.

연구 동기 및 목표

• 디모사이킹 및 노이즈 제거 네트워크 학습을 위한 실제 세계의 진짜 레이블 데이터 부족 문제를 해결하기 위해.
• 진짜 RGB 이미지가 아닌 진짜 RAW 이미지만을 사용하여, 엔드 투 엔드로 함께 디모사이킹과 노이즈 제거를 학습할 수 있도록 하기 위해.
• 이를 위해 버스트의 시간적 일관성을 활용하여 오버피팅을 통해 노이즈를 억제하고, 부족한 색상 채널을 효과적으로 보간함으로써 복원 품질을 향상시키기 위해.
• 특정 버스트에 대해 피지컬 튜닝을 수행할 경우, 디모사이킹 및 노이즈 제거 성능이 크게 향상됨을 보여주기 위해.

제안 방법

• 이 방법은 RGB 진짜 레이블 데이터가 필요 없이, 직접 메시킹된 원시 이미지에서 RGB 이미지를 복원하도록 훈련된 컨볼루션 신경망을 사용한다.
• 동일한 장면에서 촬영한 원시 이미지 버스트에 오버피팅을 적용하여, 프레임 간의 시간적 상관관계를 활용해 학습을 이끌어낸다.
• 버스트에 대한 재구성 손실을 최소화함으로써, 실제 RAW 데이터에서 엔드 투 엔드로 네트워크를 훈련시키며, 암묵적으로 디모사이킹과 노이즈 제거를 학습한다.
• 피지컬 튜닝은 버스트 단위로 수행되며, 특정 장면의 특성과 노이즈 패턴에 맞게 네트워크를 적응시킨다.
• 버스트 내의 중복성을 활용하여 노이즈 억제와 함께 부족한 색상 채널의 보간을 효과적으로 수행한다.

실험 결과

연구 질문

• RQ1 쌍이 맞는 RGB 진짜 레이블 데이터가 없이도, 실제 RAW 이미지 버스트에서 함께 디모사이킹과 노이즈 제거를 직접 학습할 수 있는가?
• RQ2 표준 학습 방식과 비교해, 이미지 버스트에 대한 오버피팅이 디모사이킹 및 노이즈 제거 출력 품질을 어떻게 향상시키는가?
• RQ3 특정 버스트에 대해 피지컬 튜닝을 수행할 경우, 디모사이킹 및 노이즈 제거 작업에서 성능 향상 정도는 어느 정도인가?
• RQ4 진짜 레이블이 없더라도, 실제 세계 데이터를 효과적으로 활용해 학습할 수 있는가?

주요 결과

• 이 방법은 어떠한 시뮬레이션된 데이터 없이도 실제 RAW 이미지 버스트에 직접 훈련시켜, 함께 디모사이킹과 노이즈 제거 분야에서 최신 기술 수준의 성능을 달성한다.
• 특정 버스트에 대해 네트워크를 피지컬 튜닝하면, 일반 모델 대비 디모사이킹 및 노이즈 제거 품질에서 뚜렷한 향상이 이루어진다.
• 버스트에 대한 오버피팅을 통해 네트워크는 시간적 일관성을 효과적으로 활용하여 노이즈를 줄이고 색상 보간을 향상시킬 수 있다.
• 이 방법은 합성 진짜 레이블이 필요 없기 때문에, 실제 카메라 파이프라인에 적용 가능하며, 실제 데이터는 풍부하지만 쌍이 맞는 레이블은 없는 상황에서도 유용하다.