[논문 리뷰] Learning Digital Camera Pipeline for Extreme Low-Light Imaging

Syed Waqas Zamir, Aditya Arora외 3명|arXiv (Cornell University)|2019. 04. 11.

Advanced Image Processing Techniques참고 문헌 40인용 수 17

한 줄 요약

이 논문은 픽셀 단위, 구조적, 인지적 손실을 조합하여 극저조도 조명 조건에서의 디지털 카메라 처리 파이프라인을 종단 간(end-to-end) 딥러닝으로 학습하는 프레임워크를 제안한다. 이 방법은 짧은 노출 시간의 RAW 센서 데이터를 고해상도, 잘 노출된 sRGB 이미지로 변환하여 선명도, 색상 정확도, 대비를 향상시키고 노이즈와 잔상은 감소시킨다. 정량적 평가와 심리물리적 평가에서 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

In low-light conditions, a conventional camera imaging pipeline produces sub-optimal images that are usually dark and noisy due to a low photon count and low signal-to-noise ratio (SNR). We present a data-driven approach that learns the desired properties of well-exposed images and reflects them in images that are captured in extremely low ambient light environments, thereby significantly improving the visual quality of these low-light images. We propose a new loss function that exploits the characteristics of both pixel-wise and perceptual metrics, enabling our deep neural network to learn the camera processing pipeline to transform the short-exposure, low-light RAW sensor data to well-exposed sRGB images. The results show that our method outperforms the state-of-the-art according to psychophysical tests as well as pixel-wise standard metrics and recent learning-based perceptual image quality measures.

연구 동기 및 목표

• 낮은 광자 수와 열악한 신호 대 잡음 비율로 인해 전통적인 카메라 파이프라인은 어두운, 노이즈가 많은, 대비가 낮은 이미지를 생성하는 데에 한계가 있다.
• 단지 픽셀 단위 손실에 의존하는 기존의 학습 기반 방법들은 종종 지나치게 매끄럽거나 잔상이 많은 출력을 낳는다.
• 대규모 저조도 데이터셋을 활용하여 RAW 센서 데이터에서 최종 sRGB 출력까지의 전체 카메라 처리 파이프라인을 데이터 기반으로 학습하는 방법을 개발한다.
• 픽셀 수준, 구조적, 인지적 손실 성분을 조합하여 인간의 시각 인지에 충실하면서도 질감과 구조를 유지하는 시각적 품질을 향상시킨다.
• 강조 처리 후처리 절차를 통해 대비와 색상의 생생함을 향상시킨다: 밝기 반전, 탈안개 처리, 밝기 복원

제안 방법

• 새로운 하이브리드 손실 함수를 사용하여 ℓ₁, MS-SSIM, 및 특징 수준의 인지적 손실(L_feat)을 조합하여 픽셀 정확도, 구조 보존, 인지적 품질 간 균형을 이룬다.
• 네트워크는 두 단계로 훈련된다: 먼저 4000 에포크 동안 표준 진짜 이미지로 훈련하고, 이후 100 에포크 동안 대비 향상된 진짜 이미지를 사용하여 밝기와 색상 정확도를 향상시킨다.
• 추론 후 처리 절차를 적용한다: 출력 이미지를 반전하고, 탈안개 알고리즘(예: [13])을 적용한 후 다시 반전하여 더 밝고 생생하며 잔상이 없는 이미지를 생성한다.
• 손실 함수는 가중치 합으로 정의된다: L_total = α·L₁ + β·L_MS-SSIM + γ·L_feat, 여기서 α, β, γ는 서로 다른 목표를 균형 있게 조절하기 위해 튜닝된 하이퍼파rameter이다.
• 프레임워크는 짧은 노출(저조도)과 긴 노출(진짜 이미지) 쌍을 제공하는 See-in-the-Dark (SID) 데이터셋을 기반으로 훈련된다.
• 수동으로 설계된 사전 지식 없이도, 디모자이킹, 노이즈 제거, 색상 보정, 톤 매핑, 선명화를 포함한 전체 카메라 파이프라인을 종단 간으로 학습한다.

실험 결과

연구 질문

• RQ1 픽셀 단위, 구조적, 인지적 손실을 조합한 하이브리드 손실 함수는 기존의 표준 ℓ₁ 또는 인지적 손실 전용 방법에 비해 저조도 이미지 복원의 시각적 품질을 크게 향상시키는가?
• RQ2 반전과 탈안개 처리에 기반한 제안된 대비 향상 절차는 저조도 이미지 출력의 인지적 품질을 어떻게 향상시키는가?
• RQ3 대비 향상된 진짜 이미지로의 피팅 튜닝은 표준 진짜 이미지로만 훈련하는 것에 비해 최종 이미지 품질을 어느 정도 향상시키는가?
• RQ4 제안된 방법은 정량적 평가 지표와 인간 인식 평가 모두에서 기존의 학습 기반 접근법을 능가하는가?
• RQ5 종단 간 네트워크는 수동으로 설계된 모듈에 의존하지 않고 완전하고 인지적으로 충실한 카메라 파이프라인을 학습할 수 있는가?

주요 결과

• 제안된 방법은 첸 등[3]의 기존 최고 수준의 방법보다 정량적 평가 지표와 심리물리적 평가에서 모두 뛰어나며, 관찰자들이 일관되게 그 출력을 선호한다.
• ℓ₁, MS-SSIM, L_feat 손실의 조합이 가장 우수한 결과를 낳으며, 각 성분이 특정한 한계를 보완한다: ℓ₁은 색채의 풍부함을 향상시키고, MS-SSIM은 질감 보존을 도모하며, L_feat는 칸막이 무늬 잔상 감소에 기여한다.
• 대비 향상 절차는 이미지의 밝기와 색상의 생생함을 크게 향상시켜 이전 방법에서 흔히 볼 수 있었던 어두움과 무채색의 외관을 줄인다.
• 첸 등[3]의 방법에 이 절차를 적용할 경우 기존의 잔상을 악화시키지만, 제안된 방법의 출력에는 새로운 왜곡을 유발하지 않고 향상 효과를 낳는다.
• 표 3의 분석 실험 결과는 각 손실 성분이 고유하게 기여하며, 그 조합이 PSNR와 시각적 품질에서 뛰어난 성능을 이끌어낸다는 것을 확인한다.
• 최종 모델은 노이즈와 색상 잔상이 없고, 더 선명하고 생생한 이미지를 생성한다. 이는 정성적 비교(그림 1d)와 그림 7을 통해 입증되었다.