[논문 리뷰] Trinity of Pixel Enhancement: a Joint Solution for Demosaicking, Denoising and Super-Resolution.

Guocheng Qian, Jinjin Gu외 4명|arXiv (Cornell University)|2019. 05. 07.

Advanced Image Processing Techniques참고 문헌 36인용 수 30

한 줄 요약

이 논문은 새로운 파이프라인 순서와 엔드 투 엔드 훈련을 통해 동시에 디모사이킹, 노이즈 제거, 초해상도를 처리하는 연합 학습 기반 방법인 트리니티 업그레이드 네트워크(TENet)를 제안한다. 실험 결과 TENet는 정량적 지표와 시각적 품질 모두에서 기존 방법을 능가하며, 고정밀도 훈련에 필수적인 새로운 PixelShift200 데이터셋이 입증되었다.

ABSTRACT

Demosaicing, denoising and super-resolution (SR) are of practical importance in digital image processing and have been studied independently in the passed decades. Despite the recent improvement of learning-based image processing methods in image quality, there lacks enough analysis into their interactions and characteristics under a realistic setting of the mixture problem of demosaicing, denoising and SR. In existing solutions, these tasks are simply combined to obtain a high-resolution image from a low-resolution raw mosaic image, resulting in a performance drop of the final image quality. In this paper, we first rethink the mixture problem from a holistic perspective and then propose the Trinity Enhancement Network (TENet), a specially designed learning-based method for the mixture problem, which adopts a novel image processing pipeline order and a joint learning strategy. In order to obtain the correct color sampling for training, we also contribute a new dataset namely PixelShift200, which consists of high-quality full color sampled real-world images using the advanced pixel shift technique. Experiments demonstrate that our TENet is superior to existing solutions in both quantitative and qualitative perspective. Our experiments also show the necessity of the proposed PixelShift200 dataset.

연구 동기 및 목표

• 실세계 이미지 처리에서 디모사이킹, 노이즈 제거, 초해상도 향상에 대한 기존의 독립적 또는 순차적 접근 방식의 한계를 해결하기 위해.
• 단일 파이프라인에 이 세 작업을 단순히 통합할 경우 발생하는 성능 저하 원인을 조사하기 위해.
• 모든 세 작업을 동시에 최적화하는 통합적 연합 학습 프레임워크를 제안하여 이미지 품질을 향상시키기 위해.
• 연합 모델의 정확한 훈련을 지원하기 위해 고품질의 실세계 데이터셋인 PixelShift200을 개발하기 위해.
• 제안된 데이터셋과 네트워크 아키텍처가 실제 이미지 향상 시나리오에서 필수적이고 효과적인지 입증하기 위해.

제안 방법

• 디모사이킹, 노이즈 제거, 초해상도 향상을 통합한 유일한 엔드 투 엔드 훈련 가능한 프레임워크로, 새로운 이미지 처리 파이프라인 순서를 설계하기 위해.
• 공유된 표현과 상호 감독을 활용하여 네트워크가 세 작업을 동시에 최적화할 수 있도록 하는 연합 학습 전략을 도입하기 위해.
• 고해상도, 전색상 이미지를 고도로 정밀한 픽셀 시프트 기술로 촬영한 PixelShift200 데이터셋을 활용하여 정확한 지표 데이터를 제공하기 위해.
• 저해상도 레이어 모자이킹 입력과 해당 고품질 전색상 출력 쌍을 사용하여 트리니티 업그레이드 네트워크(TENet)를 훈련하기 위해.
• 세부 정보를 유지하고 잡음 요소를 줄이기 위해 스킵 연결과 다중 척도 특징 학습을 활용한 딥 신경망 아키텍처를 사용하기 위해.
• 연합 최적화 목표에 맞게 조정된 데이터 증강 및 손실 함수를 적용하여, 현실감 있는 품질 향상을 위한 인지적 손실 및 적대적 손실을 포함하기 위해.

실험 결과

연구 질문

• RQ1 디모사이킹, 노이즈 제거, 초해상도 향상의 연합 최적화 방식이 최종 이미지 품질 측면에서 순차적 또는 독립적 처리 방식보다 어떻게 비교되는가?
• RQ2 파이프라인 순서와 아키텍처 설계가 다중 작업 이미지 향상 성능에 어떤 영향을 미치는가?
• RQ3 훈련 데이터의 품질과 현실감이 딥 러닝 기반 이미지 향상 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 단일 통합 네트워크가 전문화된 또는 계층적 모델보다 세 작업 전반에 걸쳐 뛰어난 성능을 달성할 수 있는가?
• RQ5 제안된 PixelShift200 데이터셋은 기존 데이터셋에 비해 훈련 정밀도와 모델 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 트리니티 업그레이드 네트워크(TENet)는 디모사이킹, 노이즈 제거, 초해상도 향상 작업 전반에서 정량적 지표와 시각적 품질 모두에서 최신 기술 수준의 성능을 달성한다.
• 세 작업을 동시에 최적화하는 연합 학습 전략은 세 작업을 순차적으로 또는 독립적으로 처리하는 것보다 최종 이미지 품질을 크게 향상시킨다.
• 제안된 PixelShift200 데이터셋은 고정밀도 훈련을 달성하는 데 필수적이며, 실험 결과 표준 데이터셋을 사용할 경우 성능 저하가 발생하는 것으로 확인되었다.
• TENet는 연합 최적화와 고품질 훈련 데이터 덕분에 일반화 능력과 세부 정보 유지 능력이 뛰어나, 특히 무늬가 풍부하고 저조도 영역에서 뛰어난 성능을 보인다.
• TENet의 새로운 파이프라인 순서는 전통적인 순차적 처리 방식에 비해 더 나은 특징 학습과 오차 누적 감소를 이끈다.
• 정량적 결과는 여러 벤치마크 데이터셋에서 PSNR와 SSIM 모두 일관된 향상을 보이며, 연합 접근 방식의 효과성을 확인한다.