[논문 리뷰] Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

Yu-Lun Liu, Wei‐Sheng Lai외 5명|arXiv (Cornell University)|2020. 04. 02.

Image Enhancement Techniques참고 문헌 54인용 수 15

한 줄 요약

이 논문은 단일 LDR 입력에서 HDR 재구성하는 데 있어 카메라 파이프라인을 뒤집는 새로운 단일 이미지 HDR 재구성 방법을 제안한다. 이 방법은 양자화, 비선형 응답 함수, 과노출 영역 복구를 각각 담당하는 세 가지 전문화된 하위 네트워크인 Dequantization-Net, Linearization-Net, Hallucination-Net으로 작업을 분해한다. 물리적 제약 조건과 엔드 투 엔드 미세조정을 통합함으로써, 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, HDR-VDP-2 점수와 시각적 품질 측면에서 이전의 학습 기반 접근법보다 뚜렷이 뛰어나다.

ABSTRACT

Recovering a high dynamic range (HDR) image from a single low dynamic range (LDR) input image is challenging due to missing details in under-/over-exposed regions caused by quantization and saturation of camera sensors. In contrast to existing learning-based methods, our core idea is to incorporate the domain knowledge of the LDR image formation pipeline into our model. We model the HDRto-LDR image formation pipeline as the (1) dynamic range clipping, (2) non-linear mapping from a camera response function, and (3) quantization. We then propose to learn three specialized CNNs to reverse these steps. By decomposing the problem into specific sub-tasks, we impose effective physical constraints to facilitate the training of individual sub-networks. Finally, we jointly fine-tune the entire model end-to-end to reduce error accumulation. With extensive quantitative and qualitative experiments on diverse image datasets, we demonstrate that the proposed method performs favorably against state-of-the-art single-image HDR reconstruction algorithms.

연구 동기 및 목표

• 센서의 한계로 인해 과소 및 과노출 영역에서 중요한 세부 정보가 손실되는 단일 LDR 입력에서 단일 이미지 HDR 재구성을 해결하기 위해.
• LDR에서 HDR로의 직접 매핑을 학습하는 데 어려움이 있음을 고려하여, LDR 이미지 형성 파이프라인의 물리적 단계를 명시적으로 모델링함으로써 이를 극복하기 위해.
• 세부 작업으로 분해함으로써 일반화 능력을 향상시키고 오차 누적을 줄이기 위해: 양자화 해제, 선형화, 환영 생성.
• 각 하위 네트워크에 맞는 도메인 특화 제약 조건(예: CRF 추정에서의 단조성 및 인지적 손실)을 통해 성능을 향상시키기 위해.
• 합성 및 실세계 데이터셋 모두에서 방법을 검증하여, HDR-VDP-2와 같은 정량적 지표와 시각적 품질 측면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 이 방법은 LDR 이미지 형성 파이프라인을 세 단계로 모델링한다: 다이내믹 레인지 클리핑, 카메라 응답 함수(CRF)를 통한 비선형 매핑, 그리고 양자화.
• 8비트 양자화로 인해 손실된 세부 정보를 복원하기 위해 Dequantization-Net을 도입하며, 밴딩 및 노이즈 아티팩트를 복구하기 위해 잔차 학습 프레임워크를 사용한다.
• 선형화를 위한 CRF의 역함수를 추정하기 위해 에지 특징, 강도 히스토그램, 단조 증가 제약 조건을 사용함으로써 정확성과 물리적 타당성을 향상시킨다.
• 과노출 영역의 누락된 콘텐츠를 예측하기 위해 Positive Residual Learning, 리사이즈 컨벌루션(Resize Convolutions)을 사용하고, 현실적인 질감 생성을 위해 인지적 손실을 적용하는 Hallucination-Net을 도입한다.
• 전체 모델을 엔드 투 엔드로 공동 미세조정하기 위해 Refinement-Net을 사용하여 오차 누적을 줄이고 실세계 입력에 대한 강건성을 향상시킨다.
• 하위 작업에 대한 개별 지도 학습을 거쳐 엔드 투 엔드 미세조정을 수행함으로써 일반화 능력을 향상시키는 단계별 학습 방식으로 학습한다.

실험 결과

연구 질문

• RQ1 카메라 파이프라인의 전방 과정을 명시적으로 모델링하면 단일 이미지 HDR 재구성 성능 향상에 기여하는가?
• RQ2 HDR 재구성을 Dequantization, Linearization, Hallucination이라는 세 하위 작업으로 분해하면 엔드 투 엔드 학습보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 물리적 제약 조건(예: CRF 추정에서의 단조성 및 에지/히스토그램 특징)은 역 CRF 및 선형 이미지 복구에 얼마나 효과적인가?
• RQ4 인지적 손실 및 아키텍처 선택(예: 리사이즈 컨벌루션)은 환영 영역의 시각적 현실감을 얼마나 향상시키는가?
• RQ5 중간 지도 학습을 통한 단계별 학습은 전체 모델을 처음부터 학습하는 것보다 성능이 뛰어나게 되는가?

주요 결과

• Dequantization-Net은 PSNR 35.87 ± 6.11과 SSIM 0.9955 ± 0.0070을 기록하여 Hou et al. [18] 및 Liu et al. [35]와 같은 이전 방법들을 능가한다.
• 에지, 히스토그램, 단조성 제약 조건을 통합한 Linearization-Net은 역 CRF L2 오차를 1.56 ± 2.52로 줄였으며, 선형 이미지에서 PSNR 34.64 ± 6.73를 달성한다.
• 양성 잔차 학습, 리사이즈 컨벌루션, 인지적 손실을 적용한 Hallucination-Net은 HDR-VDP-2 점수 66.31 ± 15.82를 기록하여 분석된 변형보다 뚜렷한 향상을 이룬다.
• 초기부터 엔드 투 엔드 학습을 수행할 경우 HDR-Synth 데이터셋에서 -4.43 HDR-VDP-2, HDR-Real 데이터셋에서 -3.48 HDR-VDP-2의 성능 저하가 발생하여 단계별 학습의 유용성을 입증한다.
• 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, HDR-VDP-2 점수와 과소 및 과노출 영역의 더 나은 세부 사항 복원 능력으로 인해 뛰어난 결과를 보였다.
• 사용자 연구 및 정성적 결과는 기존 최신 기술 대비 더 현실적이고 세밀한 HDR 출력을 생성함을 확인한다.