[논문 리뷰] LHDR: HDR Reconstruction for Legacy Content using a Lightweight DNN

Cheng Guo, Xiuhua Jiang|arXiv (Cornell University)|2022. 11. 21.

Image Enhancement Techniques인용 수 5

한 줄 요약

LHDR는 기존의 SDR 콘텐츠에서 단일 이미지 HDR 복원을 위한 경량 딥 네트워크(DNN)를 제안하며, 잡음과 JPEG 압축과 같은 복합적인 열화를 명시적으로 다룰 수 있도록 훈련한다. 카메라 파이프라인 분석을 통한 문제 모델링 재구성과 열화 인지 훈련에 중점을 두어, 최소한의 계산 비용으로도 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 이는 합성 데이터와 실제 유산 데이터 모두에서 성능이 뛰어나다.

ABSTRACT

High dynamic range (HDR) image is widely-used in graphics and photography due to the rich information it contains. Recently the community has started using deep neural network (DNN) to reconstruct standard dynamic range (SDR) images into HDR. Albeit the superiority of current DNN-based methods, their application scenario is still limited: (1) heavy model impedes real-time processing, and (2) inapplicable to legacy SDR content with more degradation types. Therefore, we propose a lightweight DNN-based method trained to tackle legacy SDR. For better design, we reform the problem modeling and emphasize degradation model. Experiments show that our method reached appealing performance with minimal computational cost compared with others.

연구 동기 및 목표

• 기존의 DNN 기반 방법이 효과적으로 다룰 수 없는 복합적인 열화(잡음, 압축 등)로 인해 손상된 기존 SDR 콘텐츠에서 HDR을 복원하는 문제를 해결하기 위해.
• 자원 제약이 있는 장치에서 실시간 추론과 배포가 가능한 경량 DNN 아키텍처를 설계하기 위해.
• 정확한 카메라 파이프라인 기반으로 문제 모델링을 재구성하여, 네트워크 설계와 열화 특성 간의 보다 우아한 일치를 가능하게 하기 위해.
• 이전 연구에서 간과되었던 열화 모델링이 훈련 과정에서 핵심적인 역할을 한다는 것을 강조하기 위해.
• 실제 유산 콘텐츠에서의 복원 정확도와 강건성을 향상시키기 위해, 현실적인 열화 유형을 공동으로 훈련하는 것이 유의미하다는 것을 입증하기 위해.

제안 방법

• 모델 크기와 MAC 연산을 줄이기 위해 점별 컨볼루션과 그룹 컨볼루션을 사용하는 경량 DNN 아키텍처를 활용한다.
• 카메라 파이프라인 기반의 재구성된 문제 모델링을 통해 정밀한 열화 시뮬레이션과 더 나은 네트워크 모듈 설계가 가능해진다.
• 유산 SDR 콘텐츠에 맞게 특별히 조정된 실제적인 열화—카메라 잡음과 JPEG 압축—을 훈련 세트에 증강하여 적용한다.
• 에코더에서 부분 컨볼루션(P.C.)과 밝기 손상 마스크 메커니즘을 사용하여 포화 상태이거나 손상된 특징을 억제함으로써, 복원을 위한 특징 표현을 향상시킨다.
• 공간적 특징 조절 기능이 내장된 U-Net 유사 스킵 커넥션 아키텍처를 사용하여 고주파 수치를 유지한다.
• 다단계 훈련 전략을 통해 HDR 전용 열화(예: 과노출/과소노출)와 기존 열화(잡음, 압축)를 모두 통합하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 잡음과 압축 열화가 병합된 기존 SDR 콘텐츠에서 효과적으로 HDR을 복원할 수 있는 경량 DNN를 설계할 수 있는가?
• RQ2 카메라 파이프라인 기반의 문제 모델링 재구성이 SI-HDR 네트워크의 설계와 성능에 어떤 영향을 미치는가?
• RQ3 훈련 데이터에 현실적인 열화 유형을 포함시키는 것이 복원의 강건성과 정확도에 어느 정도 기여하는가?
• RQ4 부분 컨볼루션과 전용 마스크 메커니즘의 사용이 과노출 영역 복원 능력을 향상시키는가?
• RQ5 그룹 컨볼루션과 파라미터 공유와 같은 아키텍처 선택이 모델 효율성과 복원 품질 간의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• LHDR는 실제 유산 SDR 콘텐츠에서 PSNR 38.12, SSIM 0.9515, VDP-Q 7.173를 기록하며, DNN 기반 및 비-DNN 기반 SOTA 방법을 모두 능가한다.
• 훈련에서 기존 열화(잡음 및 JPEG 압축)를 제거할 경우 SSIM과 VDP-Q가 각각 0.7123과 5.370으로 급격히 감소하여, 강건성 확보를 위한 필수성은 명백히 입증된다.
• 과노출/과소노출 픽셀 비율이 1%인 훈련 세트로 교체할 경우 PSNR가 38.12에서 29.55로 감소하여 HDR 전용 열화 모델링의 중요성을 확인한다.
• 부분 컨볼루션(P.C.)을 생략할 경우 과포화 영역이 과도하게 부드럽게 처리되고 퍼져나가며, PSNR는 36.29로, SSIM은 0.8112로 떨어지므로, 이는 특징 정제에서의 핵심적 역할을 입증한다.
• 그룹 컨볼루션을 사용할 경우 PSNR는 38.85에서 38.12로 약간 감소하지만, 추론 시간과 MAC 연산의 증가 폭이 미미하고, 시각적 품질은 유지된다.
• 제거 실험 결과, 열화 모델링은 네트워크 아키텍처만큼이나 중요하며, 잘못된 열화 시뮬레이션은 실제 환경 성능을 심각하게 악화시킨다는 점이 확인된다.