[논문 리뷰] HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization

Xiangyu Chen, Yihao Liu외 3명|arXiv (Cornell University)|2021. 05. 27.

Image Enhancement Techniques참고 문헌 53인용 수 6

한 줄 요약

HDRUNet는 단일 8비트 LDR 입력에서 노이즈 제거와 양자화 해제를 동시에 수행하는 공간 동적 인코더-디코더 네트워크를 제안한다. UNet 스타일의 기본 네트워크, 패턴별 조절을 위한 조건 네트워크, 특징 유지에 대한 가중치 네트워크를 통합하고, 새로운 Tanh_L1 손실 함수를 도입함으로써 최신 기술 수준의 성능을 달성하였으며, NTIRE2021 HDR 챌린지에서 PSNR-μ(34.74 dB)와 높은 시각적 품질로 2위를 기록하였다.

ABSTRACT

Most consumer-grade digital cameras can only capture a limited range of luminance in real-world scenes due to sensor constraints. Besides, noise and quantization errors are often introduced in the imaging process. In order to obtain high dynamic range (HDR) images with excellent visual quality, the most common solution is to combine multiple images with different exposures. However, it is not always feasible to obtain multiple images of the same scene and most HDR reconstruction methods ignore the noise and quantization loss. In this work, we propose a novel learning-based approach using a spatially dynamic encoder-decoder network, HDRUNet, to learn an end-to-end mapping for single image HDR reconstruction with denoising and dequantization. The network consists of a UNet-style base network to make full use of the hierarchical multi-scale information, a condition network to perform pattern-specific modulation and a weighting network for selectively retaining information. Moreover, we propose a Tanh_L1 loss function to balance the impact of over-exposed values and well-exposed values on the network learning. Our method achieves the state-of-the-art performance in quantitative comparisons and visual quality. The proposed HDRUNet model won the second place in the single frame track of NITRE2021 High Dynamic Range Challenge.

연구 동기 및 목표

• 단일 LDR 이미지에서 HDR 이미지를 복원하는 과제를 해결하면서 동시에 노이즈와 양자화 오차를 다루는 것.
• 기존 방법들이 동적 범위 확장을 전제로 하되, 잘 曝광된 영역에서의 노이즈와 양자화 오차를 간과하는 한계를 극복하는 것.
• 과다 노출 영역의 세밀한 디테일 복원과 잘 曝광된 영역의 아티팩트 감소를 가능하게 하는 종단 간 딥 러닝 프레임워크 개발.
• 새로운 손실 함수를 통해 고광도 영역과 정상 광도 영역 간 학습 영향을 균형 잡음으로써 학습 안정성과 성능 향상.
• 벤치마킹과 경쟁 참가를 통해 단일 이미지 HDR 복원에서 최신 기술 수준의 정량적 및 정성적 성과 확보.

제안 방법

• UNet 스타일의 기본 네트워크(다중 척도 특징 추출용), SFT(공간 적응형 특징 변환) 레이어를 사용한 패턴별 조절을 위한 조건 네트워크, 적응형 특징 유지용 가중치 네트워크를 포함한 세 가지 핵심 구성 요소를 가진 공간 동적 인코더-디코더 아키텍처인 HDRUNet을 제안.
• 예측된 HDR 값을 하이퍼볼릭 tangent 함수를 통해 [0, 1]로 정규화한 후 L1 손실을 계산하는 새로운 손실 함수인 Tanh_L1을 도입하여, 과다 노출 영역과 잘 노출된 영역 간의 학습 영향을 균형 잡는다.
• 기본 네트워크를 대규모 LDR-HDR 데이터셋에서 사전 학습한 후, 모든 구성 요소를 공동 최적화하는 다단계 학습 전략을 적용.
• 학습 안정성 향상과 저광도 및 고광도 영역의 특징 표현 향상을 위해 네트워크 내부에서 잔차 학습 파ragram을 적용.
• 시각화를 위해 감마 보정과 μ-law 톤 맵핑을 적용하였으며, 정량 평가에는 고광도 정확도를 위해 PSNR-L, 시각적 유사도를 위해 PSNR-μ를 사용.
• 실제 노이즈와 양자화 아티팩트를 포함한 커스터마이징된 LDR-HDR 데이터셋을 사용하여 학습 및 평가하여 현실적인 벤치마킹 조건 확보.

실험 결과

연구 질문

• RQ1 단일 딥 뉴럴 네트워크가 단일 LDR 이미지에서 HDR 이미지를 효과적으로 복원하면서 동시에 노이즈 제거와 양자화 해제를 수행할 수 있는가?
• RQ2 다양한 광도 영역에서 공간적으로 변동하는 노이즈와 양자화 패턴을 처리할 수 있도록 네트워크를 어떻게 설계할 수 있는가?
• RQ3 표준 L1 또는 L2 손실과 비교해 볼 때, 새로운 손실 함수인 Tanh_L1이 고광도 영역과 정상 광도 영역 복원 간 균형을 얼마나 향상시키는가?
• RQ4 HDR 복원, 노이즈 제거, 양자화 해제를 공동 최적화하는 것이 별도로 처리하는 방법보다 우수한 성능을 낼 수 있는가?
• RQ5 조건 네트워크와 가중치 모듈을 갖춘 제안된 공간 동적 아키텍처가 시각적 품질과 정량적 지표에서 측정 가능한 향상을 이끌 수 있는가?

주요 결과

• 기준 데이터셋에서 HDRUNet는 PSNR-μ 34.02 dB를 기록하여 HDRCNN(26.05 dB) 및 Deep SR-ITM(26.25 dB)를 포함한 모든 비교 방법을 압도적으로 앞서며 성능을 뛰어넘었다.
• PSNR-L는 41.61 dB를 기록하여 고광도 값 복원 정확도가 뛰어나며, 이 지표에서 상위 성능를 기록한 편이다.
• NTIRE2021 HDR 챌린지의 단일 프레임 트랙에서 PSNR-μ 34.736 dB로 2위를 차지하였으며, 1위 메서드와 0.07 dB 뿐 뒤져서 매우 높은 경쟁력 확보.
• 상위 메서드보다 116배 빠른 0.53초 대비 61.52초의 추론 속도를 기록하여 앙상블 기법을 사용하지 않더라도 높은 추론 효율성을 입증.
• 정성적 결과에서는 과다 노출 영역의 세밀한 디테일 복원과 잘 노출된 영역의 노이즈 및 양자화 아티팩트 감소를 성공적으로 구현하였다.
• Tanh_L1 손실 함수는 표준 L1 및 L2 손실과 비교해 더 나은 시각적 품질과 향상된 PSNR-μ 성능을 보이며, 광도 수준 간 학습 동역학 균형 조절의 효과성을 입증하였다.