[논문 리뷰] ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging

Zhen Liu, Wenjie Lin외 7명|arXiv (Cornell University)|2021. 05. 22.

Image Enhancement Techniques참고 문헌 36인용 수 7

한 줄 요약

ADNet는 손으로 들고 촬영한 다중 프레임 HDR 영상에서 노이즈와 그림자 현상을 억제하고 융합 정확도를 향상시키기 위해 이중 브랜치 주의 유도 가변성 컨볼루션 네트워크를 제안한다. LDR 영상에 공간 주의 모듈을 적용하고, 감마 보정된 영상에 피라미드-연쇄-가변성(PCD) 정렬 모듈을 사용한다. NTIRE 2021 챌린지에서 PSNR-ℓ 39.4471과 PSNR-μ 37.6359의 최신 기술 수준 성능을 달성한다.

ABSTRACT

In this paper, we present an attention-guided deformable convolutional network for hand-held multi-frame high dynamic range (HDR) imaging, namely ADNet. This problem comprises two intractable challenges of how to handle saturation and noise properly and how to tackle misalignments caused by object motion or camera jittering. To address the former, we adopt a spatial attention module to adaptively select the most appropriate regions of various exposure low dynamic range (LDR) images for fusion. For the latter one, we propose to align the gamma-corrected images in the feature-level with a Pyramid, Cascading and Deformable (PCD) alignment module. The proposed ADNet shows state-of-the-art performance compared with previous methods, achieving a PSNR-$l$ of 39.4471 and a PSNR-$μ$ of 37.6359 in NTIRE 2021 Multi-Frame HDR Challenge.

연구 동기 및 목표

• 손으로 들고 촬영한 다중 프레임 HDR 영상에서 발생하는 노이즈, 포화 현상, 정렬 오차 문제를 해결하기 위해.
• 다른 노출 조건의 LDR 영상에서 신뢰할 수 있는 영역을 적응적으로 선택하여 융합 품질을 향상시키기 위해.
• 특징 수준의 변형을 활용해 움직임이나 진동이 있는 동적 영상의 정렬을 향상시키기 위해.
• LDR 영상과 감마 보정 영상을 동일하게 취급하는 기존 학습 기반 방법보다 우수한 성능을 내기 위해.
• 그림자 현상이나 블러 없이 HDR 재구성에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이중 브랜치 네트워크 아키텍처를 통해 LDR 영상과 그 감마 보정된 복제본의 처리를 분리한다.
• LDR 영상에 공간 주의 모듈을 적용하여 과포화되거나 노이즈가 많은 영역을 동적으로 억제하고 잘 曝포된 영역에 집중한다.
• 감마 보정된 영상에 피라미드-연쇄-가변성(PCD) 정렬 모듈을 사용하여 다중 특징 수준에서 정렬을 수행함으로써 움직임과 진동에 대한 강건성을 향상시킨다.
• PCD 모듈은 비균일 샘플링 오프셋을 학습하여 정확한 특징 수준 정렬을 가능하게 하여 정렬 오차를 감소시킨다.
• 양 브랜치의 특징을 융합 네트워크를 통해 융합하여 고품질의 HDR 출력을 재구성한다.
• 성능 향상과 강건성을 향상시키기 위해 테스트 시 증강(TTA)을 적용하여 네트워크에 4가지 영상 변형(원본, 순서 변경, 뒤집기)을 제공한다.

실험 결과

연구 질문

• RQ1 LDR 영상과 감마 보정 영상을 별도로 처리하는 이중 브랜치 네트워크 설계가 HDR 재구성 품질 향상에 기여하는가?
• RQ2 LDR 영상에 공간 주의 모듈을 적용하면 융합 과정에서 과포화 및 노이즈 영역 억제에 효과적인가?
• RQ3 감마 보정된 특징에 대해 PCD 정렬 모듈이 전통적인 옵티컬 플로우나 글로벌 호모지어피보다 움직임과 정렬 오차를 더 잘 처리하는가?
• RQ4 기존의 학습 기반 HDR 방법에 비해 제안된 방법이 그림자 현상과 노이즈 아티팩트를 감소시키는가?
• RQ5 단일 브랜치의 입력 연결 방식에 비해 별도의 처리를 하는 이중 브랜치 설계가 PSNR 및 시각적 품질 향상에 얼마나 기여하는가?

주요 결과

• ADNet는 NTIRE 2021 다중 프레임 HDR 챌린지에서 PSNR-ℓ 39.4471과 PSNR-μ 37.6359를 기록하여 이전 최신 기술 수준의 방법을 초월한다.
• 특히 과포화되거나 움직임이 있는 영역에서 그림자 현상과 노이즈 아티팩트를 크게 감소시켰으며, AHDRNet와의 정성적 비교에서 이를 확인할 수 있다.
• 공간 주의 모듈은 과노출 및 과소노출 영역을 효과적으로 억제하여 잘 曚포된 영역에 집중함을 주의 맵을 통해 시각화할 수 있다.
• PCD 정렬 모듈은 복잡한 움직임에 대해서도 특징 수준 정렬을 향상시켜 단일 스케일 가변성 기반 모델 대비 PSNR-ℓ 1.2 dB 향상시켰다.
• 절단 실험 결과, 별도의 주의 및 정렬 모듈을 갖춘 이중 브랜치 설계가 단일 브랜치 연결 방식보다 우수하며, 기본 모델인 AHDRNet 대비 PSNR-ℓ 1.86 dB 향상되었다.
• 테스트 시 증강(TTA)을 적용함으로써 성능이 추가로 향상되어 제안된 아키텍처의 강건성을 입증했다.