[논문 리뷰] Attention-guided Network for Ghost-free High Dynamic Range Imaging

Qingsen Yan, Dong Gong외 5명|arXiv (Cornell University)|2019. 04. 23.

Image Enhancement Techniques참고 문헌 31인용 수 15

한 줄 요약

이 논문은 움직이는 물체와 이미지의 비일치로 인한 가시광선 이미지의 가짜 영상(ghosting)을 줄이기 위해 학습 가능한 주의 모듈을 사용하여 광학 흐름 추정을 회피하는 엔드 투 엔드 주의 유도 딥 네트워크인 AHDRNet을 제안한다. 이 방법은 계층적 특징 추출과 수용 영역 확장을 위해 확장된 잔차 밀집 블록을 사용하여 움직임과 과포화가 있는 동적 환경에서 최고의 성능을 기록하며, 가짜 영상이 줄어들고 세부 사항 복구가 향상된다.

ABSTRACT

Ghosting artifacts caused by moving objects or misalignments is a key challenge in high dynamic range (HDR) imaging for dynamic scenes. Previous methods first register the input low dynamic range (LDR) images using optical flow before merging them, which are error-prone and cause ghosts in results. A very recent work tries to bypass optical flows via a deep network with skip-connections, however, which still suffers from ghosting artifacts for severe movement. To avoid the ghosting from the source, we propose a novel attention-guided end-to-end deep neural network (AHDRNet) to produce high-quality ghost-free HDR images. Unlike previous methods directly stacking the LDR images or features for merging, we use attention modules to guide the merging according to the reference image. The attention modules automatically suppress undesired components caused by misalignments and saturation and enhance desirable fine details in the non-reference images. In addition to the attention model, we use dilated residual dense block (DRDB) to make full use of the hierarchical features and increase the receptive field for hallucinating the missing details. The proposed AHDRNet is a non-flow-based method, which can also avoid the artifacts generated by optical-flow estimation error. Experiments on different datasets show that the proposed AHDRNet can achieve state-of-the-art quantitative and qualitative results.

연구 동기 및 목표

• 움직이는 물체와 동적 환경에서의 이미지 비일치로 인한 HDR 영상에서의 가짜 영상 아티팩트를 해결하기 위해.
• 오차가 발생하고 아티팩트를 확산시키는 광학 흐름 추정에 의존하지 않기 위해.
• 세부 사항을 유지하고 과포화되거나 비일치하는 영역을 억제하는 비-흐름 기반 딥 러닝 프레임워크를 개발하기 위해.
• 주목적 기반 LDR 이미지에서의 상보적 특징을 주의 메커니즘을 통해 향상시켜 HDR 영상 품질을 개선하기 위해.
• 큰 움직임과 심한 과포화와 같은 도전적인 조건에서도 강건한 HDR 복원을 가능하게 하기 위해.

제안 방법

• 제안된 AHDRNet는 비참조 LDR 이미지에서 관련 특징을 강조하고 가짜 영상 발생 가능 영역을 억제하기 위해 소프트 주의 맵을 생성하는 새로운 주의 모듈을 사용한다.
• 주의 메커니즘이 참조 이미지에 대한 특징의 관련성을 기반으로 가중치를 동적으로 조정함으로써 융합 과정을 안내하여 움직임과 과포화로 인한 간섭을 줄인다.
• 확장된 잔차 밀집 블록(DRDBs)은 계층적 특징을 집계하고 과포화되거나 가림을 입은 영역의 누락된 세부 사항을 복원하기 위해 수용 영역을 확장한다.
• 네트워크는 광학 흐름 추정의 오차와 비일치 문제를 피하기 위해 비-흐름 기반 방식으로 엔드 투 엔드로 훈련된다.
• 입력 LDR 이미지는 특징 추출을 거친 후 주의 유도 융합과 DRDB 기반 정밀화를 거쳐 최종 HDR 출력을 생성한다.
• 모델은 구조적 및 색상 정합성을 유지하기 위해 인지적 손실과 재구성 손실의 조합을 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 HDR 방법이 광학 흐름 추정에 의존하지 않고도 가짜 영상이 없는 결과를 달성할 수 있는가?
• RQ2 주의 메커니즘이 HDR 융합 과정에서 비일치하거나 과포화된 영역을 얼마나 효과적으로 억제할 수 있는가?
• RQ3 확장된 잔차 밀집 블록이 가림되거나 과포화된 영역에서 세부 사항 복구를 얼마나 향상시킬 수 있는가?
• RQ4 흐름 기반 및 단일 이미지 HDR 방법과 비교할 때 제안된 방법은 아티팩트 억제와 세부 사항 유지 측면에서 어떻게 성능을 내는가?
• RQ5 주의 유도 융합 메커니즘은 복잡한 움직임과 과포화를 포함한 다양한 동적 환경에서 일반화 가능한가?

주요 결과

• AHDRNet는 Kalantari 등이 제시한 데이터셋에서 최고의 PSNR-μ (43.6172)와 PSNR-M (33.0429) 성능을 기록하여 모든 기존 최고 성능(SOTA) 방법을 능가한다.
• 광학 흐름 정렬을 결합한 경우(Ours+OF), 동일한 정렬 방식을 사용함에도 불구하고 Kalantari 등 [15]을 약간 뛰어넘는 PSNR-μ 43.9764를 기록한다.
• 정답이 없는 데이터셋에서 AHDRNet는 기존 방법 대비 눈에 띄게 감소된 가짜 영상, 노이즈, 색상 왜곡을 보이며 뛰어난 시각적 성능을 내는 결과를 도출한다.
• qualitative 비교에서 확대된 패널을 통해 주의 메커니즘이 큰 움직임과 과포화가 있는 영역에서 가짜 영상 아티팩트를 성공적으로 억제하는 것으로 확인되었다.
• 모델는 입력 이미지가 비일치되거나 과포화된 영역을 포함하더라도 높은 품질의 HDR 출력을 생성하는 강력한 일반화 능력을 보였다.
• 정량적 결과에서 AHDRNet는 최고의 HDR-VDP-2 점수(62.3044)를 기록하여 뛰어난 시각적 품질을 나타내었다.