[논문 리뷰] Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer

Shiyu Ning, Hongteng Xu외 3명|arXiv (Cornell University)|2018. 04. 20.

Image Enhancement Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 저역동 범위(LDR) 영상을 고역동 범위(HDR) 영상으로 변환하기 위해 생성적 적대적 네트워크(GAN)를 활용한 딥러닝 기반의 역톤 매핑 네트워크(iTMN)를 제안한다. U-Net 생성자와 CNN 판별자로 구성된 GAN을 사용하며, 콘텐츠 손실과 적대적 정규화를 동시에 최적화하여 HDR 복원 품질에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 HDR-VDP-2, mPSNR, SSIM 지표에서 기존 방법들을 능가한다.

ABSTRACT

Transferring a low-dynamic-range (LDR) image to a high-dynamic-range (HDR) image, which is the so-called inverse tone mapping (iTM), is an important imaging technique to improve visual effects of imaging devices. In this paper, we propose a novel deep learning-based iTM method, which learns an inverse tone mapping network with a generative adversarial regularizer. In the framework of alternating optimization, we learn a U-Net-based HDR image generator to transfer input LDR images to HDR ones, and a simple CNN-based discriminator to classify the real HDR images and the generated ones. Specifically, when learning the generator we consider the content-related loss and the generative adversarial regularizer jointly to improve the stability and the robustness of the generated HDR images. Using the learned generator as the proposed inverse tone mapping network, we achieve superior iTM results to the state-of-the-art methods consistently.

연구 동기 및 목표

• 기존의 히وري스틱, 선형 또는 세그먼티드 매핑에 의존하는 전통적 iTM 방법들이 가지는 색상 상관관계 부족 및 과도한 노출 문제를 해결하기 위해.
• LDR에서 HDR로의 복잡한 비선형 역톤 매핑을 고정밀도로 학습할 수 있는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 실제 HDR 데이터의 분포와 일치하는 생성된 HDR 영상의 분포를 정규화하는 생성적 적대적 정규화를 통합하여 생성된 HDR 영상의 강건성과 시각적 품질을 향상시키기 위해.
• 적대적 훈련이 표준 MSE 기반 훈련에 비해 수렴성과 안정성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 스킵 연결을 통해 공간적 세부 정보를 유지하는 U-Net 기반 생성자를 사용하여 입력 LDR 영상에서 HDR 출력을 생성한다.
• 실제 HDR 영상과 생성된 영상 간을 구분하는 단순한 CNN 기반 판별자를 사용하여 적대적 피드백을 제공한다.
• 생성자를 콘텐츠 기반 MSE 손실과 판별자의 출력에서 유도된 적대적 정규화를 포함한 병합 손실 함수로 최적화한다.
• 훈련 과정은 번갈아가며 수행되며, 먼저 실재 및 가짜 HDR 영상에 대해 판별자를 업데이트하고, 그 다음 생성자가 콘텐츠 손실과 적대적 손실을 최소화하도록 업데이트한다.
• 목적 함수는 min_G max_D λℒ_G(L,H) + ℛ_{G,D}(L,H)로 정의되며, 여기서 ℒ_G는 콘텐츠 손실이고 ℛ_{G,D}는 적대적 정규화이다.
• 고주파 영역에서의 구조 일致성을 향상시키기 위해 기울기 기반 dMSE 손실을 도입한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 GAN 기반 프레임워크가 역톤 매핑의 시각적 품질과 구조적 정확도를 향상시키는가?
• RQ2 생성적 적대적 정규화의 통합이 HDR 생성 과정의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 인지적 및 객관적 지표에서 최신 기술 수준의 iTM 기법을 얼마나 뛰어나게 성능을 냅니까?
• RQ4 병합 손실 함수에서 최적의 성능을 내는 하이퍼파라미터 설정(예: λ, α)은 무엇인가?

주요 결과

• 제안된 iTMN은 HDR-VDP-2 점수 73.77을 기록하여 다음으로 높은 점수(72.47)를 기록한 방법을 크게 앞서며, 뛰어난 인지적 품질을 입증한다.
• mPSNR는 21.61을 기록하여 다음으로 높은 방법(20.62)보다 높으며, 이는 픽셀 수준의 왜곡이 낮음을 의미한다.
• SSIM 점수 0.8098은 제안된 방법이 DrTM(0.7968) 및 KO(0.6459)와 같은 경쟁 방법들보다도 더 우수한 구조적 통합성을 유지함을 확인한다.
• 제거 실험 결과, dMSE 손실(NoDMSE) 또는 적대적 정규화(NoAdvReg)를 제거할 경우 성능 저하가 발생함을 확인하여, 두 구성 요소의 효과성을 입증한다.
• 수렴 곡선(Fig. 2h)을 통해 적대적 정규화가 포함된 경우 손실 함수가 더 빠르고 안정적으로 수렴하는 것으로 나타났다.
• 최적의 하이퍼파라미터는 λ = 10^4 및 α = 10^5로 확인되었으며, 이는 표본 2에서 모든 지표에서 최고의 성능을 보였다.