[논문 리뷰] Low-light Image Restoration with Short- and Long-exposure Raw Pairs

Meng Chang, Huajun Feng외 2명|arXiv (Cornell University)|2020. 07. 01.

Advanced Image Processing Techniques참고 문헌 56인용 수 6

한 줄 요약

이 논문은 잡음, 흐림, 색상 왜곡을 극복하기 위해 짧은 노출과 긴 노출의 원시 이미지 쌍을 사용하는 새로운 저조도 이미지 복원 방법을 제안한다. 데이터 생성을 위한 실제 저조도 촬영 파이프라인을 시뮬레이션하고, 다중 척도 융합 및 비일치 처리 기능을 갖춘 LSFNet 아키텍처를 도입하여, 실제 모바일 기기에서 촬영한 이미지에서 선명하고 색상 정확도가 높은 이미지를 복원하는 데 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Low-light imaging with handheld mobile devices is a challenging issue. Limited by the existing models and training data, most existing methods cannot be effectively applied in real scenarios. In this paper, we propose a new low-light image restoration method by using the complementary information of short- and long-exposure images. We first propose a novel data generation method to synthesize realistic short- and longexposure raw images by simulating the imaging pipeline in lowlight environment. Then, we design a new long-short-exposure fusion network (LSFNet) to deal with the problems of low-light image fusion, including high noise, motion blur, color distortion and misalignment. The proposed LSFNet takes pairs of shortand long-exposure raw images as input, and outputs a clear RGB image. Using our data generation method and the proposed LSFNet, we can recover the details and color of the original scene, and improve the low-light image quality effectively. Experiments demonstrate that our method can outperform the state-of-the art methods.

연구 동기 및 목표

• 기존 저조도 이미지 향상 방법들이 노이즈 제거나 탈블러링에만 집중하여 실제 모바일 기기 이미지에서는 성능을 내지 못하는 한계를 해결하기 위해.
• 실제 저조도 촬영 파이프라인을 반영하여 센서 노이즈와 운동 흐림을 포함한 더 현실적인 짧은 노출 및 긴 노출 원시 이미지 쌍을 생성하기 위해.
• 비일치, 그림자, 노출 쌍 간의 정보 융합을 효과적으로 처리할 수 있는 강력한 융합 네트워크를 설계하기 위해.
• 두 노출 유형 간의 상보적 정보를 활용하여 저조도 조건에서의 시각적 품질과 정확도를 향상시키기 위해.
• 합성 및 실제 저조도 이미지 데이터셋 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 센서 수준의 노이즈와 운동 흐림을 포함한 전체 저조도 촬영 과정을 시뮬레이션하는 현실적인 데이터 생성 파이프라인을 통해 짧은 노출 및 긴 노출 원시 이미지 쌍을 합성한다.
• 粗기에서 세밀한 단계로 이미지를 재구성하기 위해 다중 척도 인코더-디코더 구조를 사용하는 제안된 LSFNet 아키텍처를 도입하여 세부 사항 복원 성능을 향상시킨다.
• 짧은 노출 및 긴 노출 이미지 간의 공간적 비일치를 보정하기 위해 비일치 인식 모듈을 통합한다.
• 노출 차이나 일관되지 않은 운동으로 인한 가짜 구조를 최소화하기 위해 그림자 아티팩트 억제 모듈을 통합한다.
• ISP 변환 과정에서의 정보 손실을 방지하기 위해 원시 이미지를 직접 처리하는 융합 네트워크를 설계한다.
• 시각적 품질과 구조적 정확도를 동시에 최적화하기 위해 인지적 손실과 재구성 손실을 사용한 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 실제 저조도 촬영 파이프라인을 현실적으로 시뮬레이션하면, 실제 모바일 기기 데이터에 대한 저조도 이미지 복원 모델의 일반화 성능이 향상되는가?
• RQ2 깊은 신경망이 짧은 노출(낮은 노이즈, 선명함)과 긴 노출(높은 노이즈, 흐림) 원시 이미지 간의 상보적 정보를 얼마나 효과적으로 융합할 수 있는가?
• RQ3 제안된 LSFNet이 세밀한 질감과 동적 범위를 유지하면서 노이즈, 흐림, 색상 왜곡을 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 방법이 합성 및 실제 저조도 이미지 복원 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?
• RQ5 입력 이미지 쌍이 높은 노이즈 또는 심한 운동 흐림을 보일 경우, 계산 비용과 내성적 안정성의 상충 관계는 어떠한가?

주요 결과

• 256×256 입력 패치에서 제안된 방법은 PSNR 30.70 dB를 기록하여 기존 방법들인 LSD 2(29.97 dB) 및 SRN(26.23 dB)을 초월한다.
• LSFNet은 특히 과노출 영역이 있는 복잡한 장면에서 풍부한 질감, 최소한의 그림자, 정확한 색상 재현을 통해 최고의 시각적 품질을 달성한다.
• 단일 이미지 탈블러링 또는 노이즈 제거 방법으로는 불가능한 바, 짧은 노출 이미지에서의 정보를 활용하여 과노출 영역의 세부 사항을 효과적으로 복원한다.
• 노출 융합 기반 방법들과 비교해 LSFNet은 노이즈나 입력 이미지의 아티팩트를 증폭시키지 않고도 더 선명하고 고대비의 결과를 생성한다.
• 단지 8.4M 파라미터와 38.0 GFLOPs의 중간 수준의 계산 비용을 유지하면서도, LSD 2(31.0M 파라미터)와 같은 무거운 모델보다 뛰어난 성능을 발휘한다.
• 극도의 저조도 조건에서 고노이즈 및 고흐림이 발생할 경우에도 다른 방법보다 우수한 성능을 보이지만, 질감이 뚜렷한 영역에서는 아티팩트가 발생할 수 있어 향후 내성적 안정성 향상의 필요성이 제기된다.