[논문 리뷰] Joint tone mapping and denoising of thermal infrared images via multi-scale Retinex and multi-task learning

Axel Gödrich, Daniel König외 2명|arXiv (Cornell University)|2023. 05. 01.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 다중 척도 리티누스 최적화와 자기지도 학습 기반 다중 작업 U-Net 딥 러닝 모델을 사용하여 16비트 열화상(TIR) 영상에서 통합 톤 매핑 및 노이즈 제거 프레임워크를 제안한다. 이 방법은 톤 매핑, 노이즈 제거, 그리고 빛 번짐 방지 기능을 함께 학습함으로써 이미지 품질을 향상시키며, FLIR ADAS 데이터셋에서 TMQI 0.934를 기록하여 최신 기술 수준의 성능을 달성했고, 노이즈의 시각적 노출도와 시간적 불일치를 감소시켰다.

ABSTRACT

Cameras digitize real-world scenes as pixel intensity values with a limited value range given by the available bits per pixel (bpp). High Dynamic Range (HDR) cameras capture those luminance values in higher resolution through an increase in the number of bpp. Most displays, however, are limited to 8 bpp. Naive HDR compression methods lead to a loss of the rich information contained in those HDR images. In this paper, tone mapping algorithms for thermal infrared images with 16 bpp are investigated that can preserve this information. An optimized multi-scale Retinex algorithm sets the baseline. This algorithm is then approximated with a deep learning approach based on the popular U-Net architecture. The remaining noise in the images after tone mapping is reduced implicitly by utilizing a self-supervised deep learning approach that can be jointly trained with the tone mapping approach in a multi-task learning scheme. Further discussions are provided on denoising and deflickering for thermal infrared video enhancement in the context of tone mapping. Extensive experiments on the public FLIR ADAS Dataset prove the effectiveness of our proposed method in comparison with the state-of-the-art.

연구 동기 및 목표

• 표준 8비트 디스플레이에서 16bpp로 표현되는 고역동범위(HDR) 열화상(TIR) 영상을 시각화할 때 인지적 세부 정보를 손실 없이 유지하는 데 도전하는 것.
• TIR 영상 시퀀스에서 톤 매핑, 노이즈 감소, 시간적 일관성 최적화를 함께 고려하여 이미지 품질을 향상시키는 것.
• 쌍체의 노이즈가 있는 영상과 정제된 영상이 필요 없이 자기지도 학습을 통해 암묵적인 노이즈 제거 기능을 수행하는 딥 러닝 기반 톤 매핑 솔루션을 개발하는 것.
• 다중 척도 리티누스(MSR) 기반 기존 방법의 성능을 향상시키기 위해 그 파라미터를 최적화하고 U-Net 아키텍처로 근사화하는 것.
• 공개된 FLIR ADAS 데이터셋을 기반으로 제안된 방법을 종합적으로 평가하고, 최신 기술 수준의 TIR 톤 매핑 알고리즘들과 비교하는 것.

제안 방법

• TIR 영상에 대한 대trast 강화 및 빛 번짐 방지에 중점을 두고 최적화된 다중 척도 리티누스(MSR) 알고리즘을 기반으로 개발한다.
• 최적화된 MSR 출력 결과를 지도 학습을 통해 U-Net 기반의 딥 컨volution 신경망(DCNN)의 정답 레이블로 사용하여 톤 매핑 행동을 모방한다.
• 입력 영상에 합성 노이즈를 추가함으로써 학습 과정에 자기지도 기반 노이즈 제거 기능을 통합하여, 톤 매핑 과정 동안 암묵적인 노이즈 감소 기능을 학습하도록 한다.
• 프레임 간 강도 변화를 억제하는 시간적 정규화 손실 항목을 도입함으로써 시간적 일관성을 향상시키고, 영상 시퀀스에서의 빛 번짐을 줄인다.
• 전체 네트워크를 다중 작업 학습 방식으로 종합적으로 최적화하여 톤 매핑, 노이즈 제거, 빛 번짐 방지 기능을 동시에 최적화한다.
• 엔코더-디코더 아키텍처를 통해 효과적인 특징 학습과 고해상도 출력 생성이 가능한 U-Net 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 최적화된 다중 척도 리티누스 알고리즘이 16비트 열화상 영상에서 톤 매핑에 효과적인 기반으로 기능할 수 있는가?
• RQ2 MSR 출력 결과를 기반으로 학습된 딥 러닝 모델이 노이즈 제거 기능을 함께 수행하면서 톤 매핑 행동을 얼마나 잘 근사할 수 있는가?
• RQ3 다중 작업 학습 프레임워크 내에서 톤 매핑과 함께 학습된 자기지도 기반 노이즈 제거가 노이즈의 시각적 노출도를 얼마나 효과적으로 감소시키는가?
• RQ4 시간적 정규화 항목의 포함 여부가 TIR 영상 시퀀스에서 전반적이고 국소적인 시간적 일관성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 기존 최신 기술 수준의 TIR 톤 매핑 알고리즘들과 정량적·정성적으로 비교해 볼 때 어떤 성능을 보이는가?

주요 결과

• 최적화된 MSR 기반 모델은 표준 MSR 대비 톤 매핑 품질을 크게 향상시켜 TMQI 0.923을 기록하고, 과노출 및 과다음영역 비율을 감소시켰다.
• 딥 러닝 기반 접근법인 'Learned MSR'는 TMQI 0.934를 기록하여, FLIR(0.951)와 Realtime TMO(0.809)를 포함한 비교된 모든 방법들을 능가하는 성능을 보였다.
• 자기지도 기반 노이즈 제거를 통합한 공동 학습으로 노이즈 시각적 노출도가 30.67에서 26.49로 감소하여 암묵적 노이즈 억제 기능이 효과적임을 확인했다.
• 전반적인 시간적 불일치는 5.7e-6으로 감소하여 최적화된 MSR(2e-5) 및 기타 기준 모델보다 뚜렷한 향상이 있었고, 효과적인 빛 번짐 방지 기능을 입증했다.
• 국소적 시간적 불일치 역시 감소하여 최종 방법은 0.0258을 기록하여 영상 시퀀스에서의 프레임 일관성이 향상되었음을 보여주었다.
• 정성적 결과는 제안된 방법이 노이즈와 빛 번짐을 최소화하면서도 세부 정보와 대비를 잘 유지하고 있음을 확인했으며, 특히 확대 비교 시에서 뚜렷하게 드러났다.