[논문 리뷰] Image Correction via Deep Reciprocating HDR Transformation

Xin Yang, Ke Xu외 4명|arXiv (Cornell University)|2018. 04. 12.

Image Enhancement Techniques참고 문헌 38인용 수 7

한 줄 요약

이 논문은 깊이 학습 기반의 종단간(end-to-end) 프레임워크인 딥 리시프로케이팅 HDR 변환(Deep Reciprocating HDR Transformation, DRHT)을 제안한다. 이 방법은 고역동범위(HDR) 도메인에서 손실된 세부 정보를 복원하고, 이를 다시 저역동범위(LDR) 도메인으로 톤 맵핑하여 과노출/과소노출된 이미지를 보정한다. 제안된 방법은 종합적인 HDR 복원 및 LDR 보정 네트워크를 공동으로 최적화함으로써 기존의 최고 수준의 이미지 보정 기술보다 손실된 세부 정보를 효과적으로 복원함으로써 표준 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Image correction aims to adjust an input image into a visually pleasing one. Existing approaches are proposed mainly from the perspective of image pixel manipulation. They are not effective to recover the details in the under/over exposed regions. In this paper, we revisit the image formation procedure and notice that the missing details in these regions exist in the corresponding high dynamic range (HDR) data. These details are well perceived by the human eyes but diminished in the low dynamic range (LDR) domain because of the tone mapping process. Therefore, we formulate the image correction task as an HDR transformation process and propose a novel approach called Deep Reciprocating HDR Transformation (DRHT). Given an input LDR image, we first reconstruct the missing details in the HDR domain. We then perform tone mapping on the predicted HDR data to generate the output LDR image with the recovered details. To this end, we propose a united framework consisting of two CNNs for HDR reconstruction and tone mapping. They are integrated end-to-end for joint training and prediction. Experiments on the standard benchmarks demonstrate that the proposed method performs favorably against state-of-the-art image correction methods.

연구 동기 및 목표

• 기존의 이미지 보정 방법이 과노출/과소노출 영역에서 세부 정보를 복원하는 데에 한계를 지닌다는 문제를 해결한다.
• 손실된 세부 정보가 유지되는 HDR 도메인으로 복귀하여 LDR 기반 보정의 불안정한 성질을 극복한다.
• 이미지 보정을 종단간 학습이 가능한 상호작용식 HDR 변환 과정으로 공식화한다.
• HDR 복원과 톤 맵핑을 공동으로 최적화하는 통합된 딥 러닝 프레임워크를 개발하여 시각적 품질을 향상시킨다.

제안 방법

• HDR 복원을 위한 CNN과 톤 맵핑을 위한 다른 네트워크를 포함하는 이중 단계의 딥 러닝 프레임워크를 제안한다.
• 전체 HDR 복원의 복잡성을 줄이기 위해 HDR 도메인에서 손실된 세부 정보만을 예측하는 잔차 학습(Residual Learning)을 사용한다.
• HDR 예측 결과를 LDR 도메인으로 매핑하기 위해 역감마 압축 및 로그 변환을 수행한다.
• 시각적 품질과 재구성 정확도를 동시에 고려한 통합 손실 함수를 사용하여 두 네트워크를 종단간으로 훈련한다.
• 이미지 형성 모델 I = f_CRF(S × Δt)를 활용하여 HDR 기반 보정 접근법의 타당성을 뒷받침한다.
• HDR 복원과 톤 맵핑을 상호작용 방식으로 통합함으로써, HDR에서 복원된 세부 정보가 최종 LDR 출력에 그대로 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 보정 과정을 LDR 도메인에서 HDR 도메인으로 이동시킬 경우, 과노출/과소노출 영역에서 손실된 세부 정보를 효과적으로 복원할 수 있는가?
• RQ2 HDR 복원과 톤 맵핑을 공동으로 학습하는 종단간 딥 러닝 프레임워크가 기존의 LDR 기반 보정 방법보다 우수한 성능을 낼 수 있는가?
• RQ3 HDR 데이터에 대한 잔차 학습이 세부 정보 복원 능력을 향상시키면서도 자연스러운 시각적 결과를 유지할 수 있는가?
• RQ4 시각적 및 정량적 성능 측면에서 제안된 DRHT 방법은 최고 수준의 HDR 기반 이미지 보정 방법들과 비교해 어떤가?
• RQ5 강한 과노출(예: 직사광선에 의한 강한 과노출)와 같은 극단적인 조명 조건을 다룰 때 DRHT 프레임워크의 한계는 무엇인가?

주요 결과

• 제안된 DRHT 방법은 표준 이미지 보정 벤치마크에서 최고 수준의 성능을 달성하였으며, 기존의 LDR 기반 및 HDR 기반 방법들보다 시각적 품질과 정량적 지표에서 모두 뛰어난 성능을 보였다.
• 정량적 평가 결과, DRHT는 PSNR, SSIM, LPIPS 등의 지표에서 뛰어난 성능을 보이며, 더 나은 구조적 및 시각적 충실도를 입증하였다.
• 시각적 비교를 통해 DRHT가 그림자 영역의 질감과 같은 미세한 세부 정보를 효과적으로 복원함을 확인하였으며, 전통적인 필터링 방법에서 흔히 발생하는 과도한 부드러움(over-smoothing)을 피하고 있었다.
• 특히 눈부신 영역이나 고대비 영역에서 블로킹 효과 등 잡음이 발생하기 쉬운 영역에서 DrTMO 및 Hdrcnn 등의 HDR 기반 기준 모델보다 우수한 성능을 보였다.
• 잔차 HDR 복원에 초점을 맞춤으로써 톤 맵핑 과정에서 세부 정보 손실을 효과적으로 방지하여 더 자연스러운 출력 결과를 도출하였다.
• 한계 분석 결과, DRHT는 직사광선과 같은 극단적인 과노출 상황에서는 성능이 떨어지며, 이러한 케이스에 대한 훈련 예제가 부족하기 때문임을 확인하였다. 이는 향후 연구에서 데이터 증강 기법의 도입이 필요함을 시사한다.