[논문 리뷰] Deep Inverse Tone Mapping Using LDR Based Learning for Estimating HDR Images with Absolute Luminance

Yuma Kinoshita, Hitoshi Kiya|arXiv (Cornell University)|2019. 02. 28.

Image Enhancement Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 LDR 이미지를 Reinhard의 전역 연산자를 통해 매핑한 데이터를 사용해 CNN을 훈련시켜 절대 휘도를 갖는 HDR 이미지를 추정할 수 있는 딥러닝 기반의 역 톤 맵핑 방법을 제안한다. 이 연산자의 역변환을 학습함으로써, HDR-VDP-2.2 및 PU 인코딩 + MS-SSIM 지표에서 최신 기술을 능가하는 뛰어난 HDR 품질을 달성하며, HDR 전용 손실 함수나 다중 노출 입력이 필요로 하지 않는다.

ABSTRACT

In this paper, a novel inverse tone mapping method using a convolutional neural network (CNN) with LDR based learning is proposed. In conventional inverse tone mapping with CNNs, generated HDR images cannot have absolute luminance, although relative luminance can. Moreover, loss functions suitable for learning HDR images are problematic, so it is difficult to train CNNs by directly using HDR images. In contrast, the proposed method enables us not only to estimate absolute luminance, but also to train a CNN by using LDR images. The CNN used in the proposed method learns a transformation from various input LDR images to LDR images mapped by Reinhard's global operator. Experimental results show that HDR images generated by the proposed method have higher-quality than HDR ones generated by conventional inverse tone mapping methods,in terms of HDR-VDP-2.2 and PU encoding + MS-SSIM.

연구 동기 및 목표

• 생성된 HDR 이미지에서 절대 휘도를 추정할 수 없는 기존의 CNN 기반 역 톤 맵핑 방법의 한계를 해결하기 위해.
• HDR 데이터의 넓은 동적 범위와 비선형 반응로 인해 직접 HDR 이미지 훈련을 위한 효과적인 손실 함수를 설계하는 데 어려움이 있다는 점을 극복하기 위해.
• 쌍체의 HDR-LDR 데이터나 다중 노출 입력이 필요 없이 오직 LDR 이미지만을 사용해 CNN의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 간단한 네트워크 아키텍처를 유지하면서도 정확한 절대 휘도를 갖는 고품질 HDR 복원을 달성하기 위해.

제안 방법

• CNN은 입력 LDR 이미지를 Reinhard의 전역 연산자를 사용해 톤 맵핑한 LDR 이미지로 매핑하도록 훈련되며, 이 연산자는 매개변수가 알려져 있을 경우 가역적이다.
• 이 방법은 Reinhard의 연산자의 가역성에 기반한다: CNN이 톤 맵핑된 LDR 출력을 예측한 후, 역변환을 적용하여 절대 휘도를 갖는 HDR 이미지를 복원한다.
• 핵심 매개변수인 밝기 인자 $a$와 기하 평균 $G(E)$는 LDR 출력과 입력에서 추정되며, 이는 $E'_{i,j} = \frac{G(E)}{a} \cdot \frac{I_{i,j}}{1 - I_{i,j}}$를 통해 조명 세기 $E$의 복원에 사용된다.
• 훈련 손실은 HDR 전용 복잡한 손실 함수를 피하기 위해 표준 픽셀 단위의 회귀(예: L1 또는 L2)를 사용해 LDR 도메인에서 계산된다.
• 네트워크 아키텍처는 스킵 연결을 갖춘 U-Net 유사한 인코더-디코더이며, Adam 최적화기를 사용하여 $\alpha=0.002$, $\beta_1=0.5$, $\beta_2=0.999$로 설정된다.
• 이 방법은 다중 노출 감독이나 명시적 HDR 감독이 필요 없으며, 오직 LDR 기반 학습에 의존한다.

실험 결과

연구 질문

• RQ1 오직 LDR 이미지로만 훈련된 CNN이 정확한 절대 휘도를 갖는 HDR 이미지를 생성할 수 있는가?
• RQ2 Reinhard의 톤 맵핑된 LDR 출력으로의 변환을 학습하는 것이 직접 HDR 학습이나 다중 노출 방법보다 더 나은 HDR 복원을 가능하게 하는가?
• RQ3 제안된 방법이 객관적 및 주관적 품질 지표에서 최신 기술보다 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법은 복잡한 아키텍처나 다단계 훈련이 필요한 기존의 CNN 기반 접근법보다 더 효율적이고 단순한가?

주요 결과

• 제안된 방법은 모든 일곱 장의 테스트 이미지에서 HDR-VDP-2.2 점수를 최고로 기록했으며, 최고 점수인 61.49(이미지 7)를 기록하여 Direct ITMO(44.77)와 DrTMO(43.82)를 크게 앞섰다.
• PU 인코딩 + MS-SSIM 평가에서 제안된 방법은 모든 이미지에서 최고 점수를 기록했으며, 이미지 7의 경우 0.9804를 기록하여 PMET의 0.6997과 DrTMO의 0.6042를 상회했다.
• 시각적 비교 결과, 제안된 방법은 Direct ITMO와 PMET보다 어두운 영역의 세밀한 디테일을 더 잘 유지했으며, DrTMO의 과노출 출력에서 관찰된 색조 왜곡을 피했다.
• DrTMO가 3D 역세로 네트워크 두 개를 사용한 반면, 제안된 방법은 더 단순한 네트워크 아키텍처를 갖추고 있음에도 불구하고 더 높은 품질을 달성했다.
• 결과적으로 LDR 기반 학습과 Reinhard의 연산자를 통한 역 톤 맵핑을 통해 HDR 감독 없이도 정확한 절대 휘도 추정이 가능하다는 것이 확인되었다.
• 결과적으로 알려진 가역적 톤 맵핑 함수를 갖는 LDR 도메인에서의 학습은 직접 HDR 훈련의 타당하고 효과적인 대안임을 보여주었다.