[논문 리뷰] Deep SR-ITM: Joint Learning of Super-Resolution and Inverse Tone-Mapping for 4K UHD HDR Applications

Soo Ye Kim, Jihyong Oh외 1명|arXiv (Cornell University)|2019. 04. 25.

Advanced Image Processing Techniques참고 문헌 30인용 수 8

한 줄 요약

이 논문은 저해상도 표준 동적 범위(SDR) 영상을 고해상도 HDR 콘텐츠로 변환하기 위해 초해상도(SR)와 역 톤 매핑(ITM)을 동시에 수행하는 딥 러닝 프레임워크인 Deep SR-ITM을 제안한다. 이미지를 기본층과 세부층으로 분해하고, 위치 기반 가변 조절 블록을 적용하여 세밀한 질감을 복원하고 국소 대비를 향상시켜 주관적 품질이 뛰어나고 이전의 공동 SR-ITM 방법들을 능가하는 성능을 달성한다.

ABSTRACT

Recent modern displays are now able to render high dynamic range (HDR), high resolution (HR) videos of up to 8K UHD (Ultra High Definition). Consequently, UHD HDR broadcasting and streaming have emerged as high quality premium services. However, due to the lack of original UHD HDR video content, appropriate conversion technologies are urgently needed to transform the legacy low resolution (LR) standard dynamic range (SDR) videos into UHD HDR versions. In this paper, we propose a joint super-resolution (SR) and inverse tone-mapping (ITM) framework, called Deep SR-ITM, which learns the direct mapping from LR SDR video to their HR HDR version. Joint SR and ITM is an intricate task, where high frequency details must be restored for SR, jointly with the local contrast, for ITM. Our network is able to restore fine details by decomposing the input image and focusing on the separate base (low frequency) and detail (high frequency) layers. Moreover, the proposed modulation blocks apply location-variant operations to enhance local contrast. The Deep SR-ITM shows good subjective quality with increased contrast and details, outperforming the previous joint SR-ITM method.

연구 동기 및 목표

• 원천 HDR 소스가 제한적인 상황에서도 증가하는 4K UHD HDR 영상 콘텐츠의 고품질 요구에 부응하기 위해.
• 동시에 초해상도 및 역 톤 매핑을 수행하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 변환된 HDR 영상의 시각적 품질을 향상시키기 위해 고주파 수준의 세부 정보를 복원하고 국소 대비를 강화하기 위해.
• 순차적 처리의 한계를 극복하기 위해 종단 간 훈련 가능한 아키텍처에서 SR과 ITM을 공동 최적화하기 위해.

제안 방법

• 입력 이미지를 기반(저주파수) 및 세부(고주파수) 층으로 분리하는 특징 분해 전략을 사용하여 타겟된 향상이 가능하도록 한다.
• 기본층과 세부층을 별도로 처리하는 이중 브랜치 아키텍처를 통해 구조적 콘텐츠와 세밀한 질감의 정밀한 복원이 가능하다.
• 공간적 맥락에 기반해 국소 대비를 적응적으로 향상시키는 위치 기반 가변 조절 블록을 도입한다.
• 주관적 품질, 재구성 정확도, 구조 유사도를 균형 있게 유지하는 병합 손실 함수를 사용해 종단 간 훈련한다.
• 중간 톤 매핑 표현이 필요 없이 저해상도 SDR 입력을 그대로 고해상도 HDR 출력으로 매핑한다.
• 4K UHD HDR 응용에 최적화되어 있어 고해상도 영상 처리에서 확장성과 시각적 정밀도를 보장한다.

실험 결과

연구 질문

• RQ1 초해상도 및 역 톤 매핑의 공동 학습이 HDR 영상 업스케일링에서 순차적 또는 독립적 처리보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 딥 네트워크가 저해상도 SDR 입력에서 고주파 성분을 효과적으로 복원하면서 국소 대비를 유지할 수 있는가?
• RQ3 기본층과 세부층으로의 특징 분해가 HDR 영상 복원 품질을 얼마나 향상시키는가?
• RQ4 위치 기반 가변 조절 메커니즘이 재구성된 HDR 출력에 잡음 등을 유발하지 않고 국소 대비를 향상시킬 수 있는가?
• RQ5 주관적 및 정량적 지표 측면에서 제안된 종단 간 프레임워크는 이전 최고 수준의 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 Deep SR-ITM 프레임워크는 이전의 공동 SR-ITM 방법들과 비교해 더 뛰어난 주관적 시각 품질을 달성했으며, 대비가 향상되고 세부 묘사가 더 선명하다.
• 기본-세부 분해 기반 메커니즘 덕분에 모델이 세밀한 질감과 고주파 성분을 효과적으로 복원한다.
• 위치 기반 가변 조절 블록의 사용이 복잡한 고역동 범위 영역에서 국소 대비 향상에 크게 기여한다.
• 수렴성 평가 및 정량적 평가에서 기존 방법들을 능가하며, ICCV 2019(구두 발표)에 수용된 것으로 확인되었다.
• 종단 간 공동 학습 전략 덕분에 캐스케이드 또는 별도 처리 파이프라인보다 더 나은 특징 정렬과 더 일관된 HDR 출력을 제공한다.