[논문 리뷰] Self-Supervised Image Restoration with Blurry and Noisy Pairs

Zhilu Zhang, Rongjian Xu외 3명|arXiv (Cornell University)|2022. 11. 14.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 자기지도 학습 이미지 복원 방법인 SelfIR을 제안한다. 이 방법은 노이즈가 많은 단시간 曝光 이미지와 뿌연 장시간 曝光 이미지를 함께 활용하여 노이즈 제거와 뿌연 복원을 향상시킨다. 이러한 쌍의 이미지들은 상보적인 특성을 지지며, 노이즈가 많은 이미지를 뿌연 복원을 위한 지도로, 뿌연 이미지의 선명한 영역을 노이즈 제거를 위한 지시로 활용함으로써 지도 데이터 없이도 상호 보완적인 학습이 가능해지며, 합성 및 실세계 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

When taking photos under an environment with insufficient light, the exposure time and the sensor gain usually require to be carefully chosen to obtain images with satisfying visual quality. For example, the images with high ISO usually have inescapable noise, while the long-exposure ones may be blurry due to camera shake or object motion. Existing solutions generally suggest to seek a balance between noise and blur, and learn denoising or deblurring models under either full- or self-supervision. However, the real-world training pairs are difficult to collect, and the self-supervised methods merely rely on blurry or noisy images are limited in performance. In this work, we tackle this problem by jointly leveraging the short-exposure noisy image and the long-exposure blurry image for better image restoration. Such setting is practically feasible due to that short-exposure and long-exposure images can be either acquired by two individual cameras or synthesized by a long burst of images. Moreover, the short-exposure images are hardly blurry, and the long-exposure ones have negligible noise. Their complementarity makes it feasible to learn restoration model in a self-supervised manner. Specifically, the noisy images can be used as the supervision information for deblurring, while the sharp areas in the blurry images can be utilized as the auxiliary supervision information for self-supervised denoising. By learning in a collaborative manner, the deblurring and denoising tasks in our method can benefit each other. Experiments on synthetic and real-world images show the effectiveness and practicality of the proposed method. Codes are available at https://github.com/cszhilu1998/SelfIR.

연구 동기 및 목표

• 고감도 촬영으로 인한 노이즈와 장시간 노출으로 인한 뿌연 이미지의 저조도 이미지 복원 문제를 해결한다.
• 단일 왜곡 이미지에 의존하는 기존 자기지도 학습 방법의 한계를 극복하며, 강력한 지도를 확보하지 못하는 문제를 해결한다.
• 단시간 노출로 인한 노이즈가 많은 이미지와 장시간 노출로 인한 뿌연 이미지의 상보적인 특성을 활용하여 자기지도 환경에서 상호 지도 학습을 가능하게 한다.
• 비용이 많이 드는 지도 데이터 수집을 피하고, 이중 카메라 또는 버스트 이미지 합성으로부터의 실세계 데이터를 활용할 수 있는 실용적인 프레임워크를 개발한다.
• 이중 이미지의 내재된 구조를 활용해 노이즈 제거 및 뿌연 복원 네트워크를 동시에 훈련시켜 우수한 복원 성능을 달성한다.

제안 방법

• 단시간 노출 이미지(고감도, 노이즈 많음, 선명함)와 장시간 노출 이미지(저감도, 뿌연, 거의 노이즈 없음)를 쌍으로 입력으로 사용한다.
• 별도의 렌즈로 촬영된 두 이미지 간의 공간적 비일치를 보정하기 위해 광학 흐름 기반 정렬(PWC-Net을 활용)을 적용한다.
• 뿌연 이미지와 노이즈 많은 이미지에서 도메인 특화된 특징을 추출한 후 융합하기 위해 이중 인코더, 공유 디코더 네트워크 아키텍처를 설계한다.
• 노이즈 많은 이미지를 선명함의 대체 지표로 사용하여 뿌연 복원을 지도하며, 지도 학습 대비 성능 저하를 최소화한다.
• 뿌연 이미지의 정적 선명한 영역을 노이즈 없는 지도로 활용하여 자기지도 학습 기반의 노이즈 제거를 위한 강화된 특징 학습을 가능하게 한다.
• 노이즈 제거 및 뿌연 복원 네트워크가 공유 최적화를 통해 서로의 지도를 통해 상호 보완적인 학습 전략을 구현한다.

실험 결과

연구 질문

• RQ1 단시간 노출로 인한 노이즈 많은 이미지와 장시간 노출로 인한 뿌연 이미지를 효과적으로 결합하여 자기지도 학습 기반 이미지 복원을 가능하게 할 수 있는가?
• RQ2 이중 이미지 내에서 노이즈와 뿌연 현상의 상보적 특성이 단일 이미지 자기지도 학습 대비 복원 성능 향상에 어떻게 기여하는가?
• RQ3 지도 데이터 없이 노이즈 많은 이미지가 뿌연 복원 훈련에서 선명한 이미지의 유효한 대체 지표로 기능할 수 있는가?
• RQ4 뿌연 이미지의 선명한 영역이 실세계 환경에서 자기지도 학습 기반의 노이즈 제거를 위한 신뢰할 수 있는 보조 지도로 기능할 수 있는가?
• RQ5 제안된 상호 보완 학습 프레임워크가 합성 및 실세계 이미지 복원 과제에서 기존 자기지도 및 지도 학습 기반 기준보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• SelfIR은 고전적 노이즈와 포isson 노이즈가 포함된 합성 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 자기지도 기반 노이즈 제거 방법을 능가한다.
• 실세계 데이터에서 SelfIR은 기준 방법 대비 더 선명하고 사진처럼 자연스러운 결과를 생성하며, 더 선명한 질감과 더 나은 색상 충실도를 보인다.
• 실세계 이미지 쌍에 대한 정성적 비교를 통해 라이센스 플레이트와 미세 질감과 같은 세부 정보를 효과적으로 복원함을 입증했다.
• 장시간 노출 이미지에서의 선명한 영역을 보조 지도로 활용함으로써, 특히 복잡한 노이즈 패턴에서 노이즈 제거 성능이 크게 향상되었다.
• 합성 데이터에 대한 정량적 결과 분석에서 SelfIR은 일부 설정에서 지도 학습 기반 기준보다 더 높은 PSNR 및 SSIM 성능을 기록하여 강력한 일반화 능력을 입증했다.
• 이중 스마트폰를 활용한 실세계 뿌연-노이즈 이미지 쌍을 광학 흐름 정렬을 통해 효과적으로 활용함으로써 실용성의 가능성을 입증했다.