[논문 리뷰] LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction

Haesoo Chung, Nam Ik Cho|arXiv (Cornell University)|2023. 08. 22.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

이 논문은 HDR 영상 복원을 위한 엔드 투 엔드 프레임워크인 LAN-HDR를 제안한다. 이는 움직임 보정을 위해 광학 흐름 대신 밝기 기반 주의 메커니즘을 사용하고, 포화된 영역의 세부 사항 복원을 위해 게이트드 컨볼루션 기반 환영 모듈을 사용한다. 정렬된 특징과 환영된 특징을 적응형 블렌딩 레이어를 통해 융합하고 시간적 일관성 손실을 적용함으로써, 최신 기술 대비 뛰어난 시각적 품질과 더불어 깜빡임을 감소시킨다.

ABSTRACT

As demands for high-quality videos continue to rise, high-resolution and high-dynamic range (HDR) imaging techniques are drawing attention. To generate an HDR video from low dynamic range (LDR) images, one of the critical steps is the motion compensation between LDR frames, for which most existing works employed the optical flow algorithm. However, these methods suffer from flow estimation errors when saturation or complicated motions exist. In this paper, we propose an end-to-end HDR video composition framework, which aligns LDR frames in the feature space and then merges aligned features into an HDR frame, without relying on pixel-domain optical flow. Specifically, we propose a luminance-based alignment network for HDR (LAN-HDR) consisting of an alignment module and a hallucination module. The alignment module aligns a frame to the adjacent reference by evaluating luminance-based attention, excluding color information. The hallucination module generates sharp details, especially for washed-out areas due to saturation. The aligned and hallucinated features are then blended adaptively to complement each other. Finally, we merge the features to generate a final HDR frame. In training, we adopt a temporal loss, in addition to frame reconstruction losses, to enhance temporal consistency and thus reduce flickering. Extensive experiments demonstrate that our method performs better or comparable to state-of-the-art methods on several benchmarks.

연구 동기 및 목표

• 특히 포화되거나 빠르게 움직이는 영역에서 광학 흐름 기반 운동 보정의 한계를 해결하기 위해.
• 컬러가 아닌 밝기 특징을 활용하여 콘텐츠 기반 매칭을 위한 정렬 정확도를 향상시키기 위해.
• 노출 포화로 인해 흐릿해진 영역의 선명한 세부 사항을 복원하기 위해 밝기 적응형 컨볼루션을 사용하기 위해.
• 새로운 시간적 일관성 손실을 도입하여 재구성된 HDR 영상의 시간적 일관성을 확보하기 위해.

제안 방법

• 정렬 모듈은 기준 프레임과 인접 프레임의 밝기(Y) 채널 간 자기 주의를 통한 콘텐츠 기반 특징 정렬을 수행하는 이중 경로 아키텍처를 사용한다.
• 환영 모듈은 밝기 기반 마스크를 갖춘 게이트드 컨볼루션을 사용하여 매우 어두운 및 밝은 영역의 세부 사항을 적응적으로 향상시킨다.
• 정렬 모듈과 환영 모듈의 특징을 융합하기 위해 공간적으로 변화하는 가중치를 학습하는 적응형 블렌딩 레이어를 사용한다. 이는 신뢰할 수 없는 영역을 억제한다.
• 효율적인 주의 계산을 위해 내림표본 처리된 Y 채널을 사용하지만, 세부 사항 복구를 위해 전체 해상도 입력을 유지한다.
• 예측된 프레임 간 차이와 진짜 프레임 간 차이의 격차를 최소화하기 위해 시간 손실을 도입하여 운동 일관성을 향상시킨다.
• 전체 파이프라인은 프레임 복원 손실과 시간적 일관성 손실을 함께 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 포화되거나 복잡한 운동 상황에서 광학 흐름 대비 밝기 기반 주의가 HDR 영상 복원의 운동 정렬 정확도를 향상시키는가?
• RQ2 밝기 마스크를 갖춘 적응형 게이트드 컨볼루션은 과노출 또는 과소노출 영역의 세부 사항 복원에 얼마나 효과적인가?
• RQ3 적응형 블렌딩 메커니즘이 정렬 및 환영 모듈의 특징을 효과적으로 융합하여 아티팩트를 줄이는가?
• RQ4 시간적 일관성 손실이 재구성된 HDR 영상에서 깜빡임을 줄이고 운동의 매끄러움을 향상시키는 데 어느 정도 기여하는가?
• RQ5 픽셀 도메인의 광학 흐름을 특징 공간의 주의로 대체함으로써 전체 HDR 영상 품질이 향상되는가?

주요 결과

• 시간적 일관성 지표에서 제안된 방법은 PSNR 38.22와 SSIM 0.9100을 기록하여 시간 손실이 없는 베이스라인보다 뛰어난 성능을 보였다.
• 환영 모듈과 밝기 기반 마스크를 사용함으로써, PU 지표에서 PSNR 40.04를 달성하여 적응형 컨볼루션 없이 구현된 모델보다 유의미하게 뛰어난 성능을 보였다.
• 제거 분석 결과, RGB 또는 색상 왜곡된 입력 대비 Y 채널을 주의에 사용할 경우 가장 우수한 정렬 성능을 얻을 수 있음을 확인하였다.
• 적응형 블렌딩 레이어는 포화된 영역에서 뿌연 또는 잘못 정렬된 특징을 효과적으로 억제하며, 해당 영역에서 낮은 블렌딩 가중치를 보였다.
• 시간 손실은 시간 지표에서 PSNR와 SSIM을 모두 향상시켜 깜빡임 감소와 운동 일관성 향상의 효과를 입증하였다.
• 시각적 비교 결과, 특히 도전적인 시퀀스에서 이전 기술 대비 움직이는 영역 및 포화된 영역에서 더 선명한 질감을 생성하는 것으로 나타났다.