[논문 리뷰] JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video

Soo Ye Kim, Jihyong Oh외 1명|arXiv (Cornell University)|2019. 09. 10.

Advanced Image Processing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 UHD HDR 영상에서 세부 정보와 대trast를 향상시키기 위해 작업별 하위신경망과 픽셀 단위의 1차원 분리 가능 및 2차원 국소 필터를 사용하는 GAN 기반 프레임워크인 JSI-GAN을 제안한다. 새로운 세부 정보 GAN 손실과 특징 매칭 손실을 도입함으로써 기존 방법 대비 0.41 dB의 PSNR 향상을 달성하며, 안정적이고 시각적으로 현실적인 고해상도 HDR 복원을 실현한다.

ABSTRACT

Joint learning of super-resolution (SR) and inverse tone-mapping (ITM) has been explored recently, to convert legacy low resolution (LR) standard dynamic range (SDR) videos to high resolution (HR) high dynamic range (HDR) videos for the growing need of UHD HDR TV/broadcasting applications. However, previous CNN-based methods directly reconstruct the HR HDR frames from LR SDR frames, and are only trained with a simple L2 loss. In this paper, we take a divide-and-conquer approach in designing a novel GAN-based joint SR-ITM network, called JSI-GAN, which is composed of three task-specific subnets: an image reconstruction subnet, a detail restoration (DR) subnet and a local contrast enhancement (LCE) subnet. We delicately design these subnets so that they are appropriately trained for the intended purpose, learning a pair of pixel-wise 1D separable filters via the DR subnet for detail restoration and a pixel-wise 2D local filter by the LCE subnet for contrast enhancement. Moreover, to train the JSI-GAN effectively, we propose a novel detail GAN loss alongside the conventional GAN loss, which helps enhancing both local details and contrasts to reconstruct high quality HR HDR results. When all subnets are jointly trained well, the predicted HR HDR results of higher quality are obtained with at least 0.41 dB gain in PSNR over those generated by the previous methods.

연구 동기 및 목표

• 유령 저해상도, 표준 동적 범위(SDR) 영상을 UHD HDR 방송에 적합한 고해상도, 고역동 범위(HDR) 영상으로 변환하는 과제를 해결하기 위해.
• 간단한 L2 손실과 공유된 컨볼루션 필터를 사용하는 CNN 기반 방법의 한계를 극복하여 미세한 세부 정보와 국소 대비를 유지하지 못하는 문제를 해결하기 위해.
• 초해상도 및 역 톤 매핑을 동시에 수행하는 통합 학습 프레임워크를 설계하여 시각적 품질과 목적적 지표를 향상시키기 위해.
• 새로운 세부 정보 GAN 손실과 특징 매칭 손실을 도입함으로써 이 복잡한 작업에 대한 GAN의 안정적 훈련을 가능하게 하기 위해.
• 확장 가능한 픽셀 단위의 필터를 개발하여 확대 배율에 따라 적응하고 이미지의 구성 요소(기본층 및 세부층)에 특화되도록 하기 위해.

제안 방법

• 생성자는 세 가지 작업별 하위망으로 구성된다: 이미지 복원(IR), 세부 복원(DR), 국소 대비 향상(LCE)이며, 각각 고유한 역할에 최적화되어 있다.
• DR 하위망은 입력의 세부층에서 고주파 성분과 미세한 질감을 복원하기 위해 픽셀 단위의 1차원 분리 가능 필터를 사용한다.
• LCE 하위망은 기본층에 픽셀 단위의 2차원 국소 필터를 적용하여 국소 대비를 향상시키면서도 자연스러운 외관을 유지한다.
• 프레임워크는 처리 전에 각 저해상도 SDR 프레임을 기본층과 세부층으로 분해하기 위해 가이드 필터를 활용한다.
• 실제 세부 정보 생성을 강제하기 위해 새로운 세부 정보 GAN 손실을 도입하였으며, 훈련 안정성 향상과 목적적 지표 향상을 위해 특징 매칭 손실을 활용한다.
• 모든 하위망은 적대적 손실, 세부 정보 GAN 손실, 복원 손실의 조합을 통해 공동으로 훈련되어 시각적 품질과 정확도의 균형을 이루도록 한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크가 초해상도 및 역 톤 매핑을 동시에 최적화하여 향상된 시각적 및 목적적 성능을 달성할 수 있는가?
• RQ2 공유된 컨볼루션 필터와 비교했을 때, 픽셀 단위의 1차원 분리 가능 및 2차원 국소 필터는 세부 복원과 대비 향상에 어떻게 기여하는가?
• RQ3 전용 세부 정보 GAN 손실을 도입함으로써 고해상도 HDR 출력에서 미세한 질감과 윤곽의 현실감이 향상되는가?
• RQ4 특징 매칭 손실은 일반적으로 GAN 기반 영상 생성에서 관찰되는 목적적 지표(예: PSNR) 저하 문제를 완화할 수 있는가?
• RQ5 적응형 필터를 갖춘 작업별 하위망이 통합 공유 네트워크보다 초해상도-역 톤 매핑 작업에서 얼마나 뛰어난 성능을 발휘하는가?

주요 결과

• JSI-GAN은 UHD HDR 영상 복원에서 이전 방법 대비 0.41 dB의 PSNR 향상을 달성하여 뛰어난 목적적 성능을 입증하였다.
• 제안된 세부 정보 GAN 손실은 베이스라인 대비 흐릿하거나 아티팩트가 많은 출력과의 정성적 비교를 통해 세부 질감과 윤곽의 현실감 향상을 뚜렷하게 개선함을 보였다.
• L2 손실 전용 모델 대비 동질적인 영역, 특히 배경에서 레이저링 및 색상 아티팩트를 효과적으로 줄였다.
• 확대 비율에 관계없이 높은 성능을 유지하였으며, 작업별 필터 학습으로 인해 매개변수 수가 확대 비율에 비례하여 증가하였다.
• NVIDIA TITAN Xp GPU에서 추론 시간이 실시간 응용에 충분히 효율적이며, 매개변수 수가 확대 비율에 따라 스케일링된다.
• 제거 실험을 통해 세부 정보 GAN 손실과 특징 매칭 손실이 높은 시각적 품질과 안정적 훈련을 달성하는 데 필수적임을 확인하였다.