[논문 리뷰] End-to-End Deep HDR Imaging with Large Foreground Motions.

Shangzhe Wu, Jiarui Xu외 2명|arXiv (Cornell University)|2017. 11. 24.

Image Enhancement Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 큰 배경 이동이 있는 동적 영상에서 고역동범위(HDR) 영상 촬영을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안하며, 광학 흐름 추정에 의존하지 않고 HDR을 이미지 번역 작업으로 공식화한다. 이 방법은 가림, 포화, 과도한 어두움 상황에서 자동으로 HDR 세부 정보를 재구성함으로써 기존 최신 기술 대비 색상 잡음과 기하학적 왜곡을 크게 감소시켜 뛰어난 성능을 달성한다.

ABSTRACT

This paper proposes the first end-to-end deep framework for high dynamic range (HDR) imaging of dynamic scenes with large-scale foreground motions. In state-of-the-art deep HDR imaging such as [13], the problem is formulated as an image composition problem, by first aligning input images using optical flows which are still error-prone due to occlusion and large motions. In our end-to-end approach, HDR imaging is formulated as an image translation problem and no optical flows are used. Moreover, our simple translation network can automatically hallucinate plausible HDR details in the presence of total occlusion, saturation and under-exposure, which are otherwise almost impossible to recover by conventional optimization approaches. We perform extensive qualitative and quantitative comparisons to show that our end-to-end HDR approach produces excellent results where color artifacts and geometry distortion are significantly reduced compared with existing state-ofthe-art methods.

연구 동기 및 목표

• 큰 전경 이동과 가림 상황에서 광학 흐름 기반 정렬 기술의 한계를 해결하기 위해.
• 이미지 조합이 아닌 이미지 번역 문제로 HDR을 공식화함으로써 오류가 발생하기 쉬운 광학 흐름 추정을 제거하기 위해.
• 포화, 과도한 어둠, 또는 완전한 가림으로 영향을 받은 영역에서 타당한 HDR 세부 정보를 자동으로 재구성할 수 있도록 하기 위해.
• 동적 영상에서 HDR 복원 시 색상 잡음과 기하학적 왜곡을 줄이기 위해.

제안 방법

• 프레임워크는 광학 흐름 추정이 필요 없는 엔드 투 엔드 이미지 번역 문제로 HDR 영상 촬영을 공식화한다.
• 다중 노출 이미지를 직접 단일 HDR 출력으로 매핑하는 단순하면서도 효과적인 번역 네트워크를 학습한다.
• 암시적 특징 학습을 통해 가림되거나 포화된 영역의 누락된 HDR 세부 정보를 학습한다.
• 명시적 정렬 또는 왜곡을 수행하지 않아 움직임 추정에서 발생하는 오류 전파를 줄인다.
• 색상 충실도와 구조적 세부 정보를 유지하기 위해 인지적 손실과 복원 손실을 사용해 엔드 투 엔드로 모델을 학습한다.
• 완전한 가림 또는 극단적인 노출 영역에서도 타당한 HDR 콘텐츠를 자동으로 복구할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 큰 전경 이동이 있는 동적 영상에서 광학 흐름 추정에 의존하지 않고도 효과적인 HDR 영상 촬영이 가능할 수 있는가?
• RQ2 딥 러닝 모델이 포화 또는 완전한 가림 영역에서 타당한 HDR 세부 정보를 얼마나 잘 재구성할 수 있는가?
• RQ3 엔드 투 엔드 이미지 번역 접근 방식은 색상 잡음과 기하학적 왜곡을 줄이는데 있어 광학 흐름 기반 이미지 조합 기술보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 복잡한 운동 모델링 없이도 단순한 네트워크 아키텍처가 최신 기술 수준의 HDR 결과를 달성할 수 있는가?

주요 결과

• 기존 최신 기술 대비 제안된 방법은 색상 잡음과 기하학적 왜곡을 크게 감소시켰다.
• 완전한 가림, 포화, 과도한 어둠 영역에서 네트워크가 타당한 HDR 세부 정보를 성공적으로 재구성했다.
• 광학 흐름 추정을 제거함으로써 큰 이동 거리가 있는 영역에서 운동 관련 오류를 피할 수 있었다.
• 엔드 투 엔드 학습 방식은 다양한 동적 영상에서 더 강력하고 일관된 HDR 복원을 이끌어냈다.
• 정량적 및 정성적 평가를 통해 시각적 품질과 구조적 충실도 모두에서 뛰어난 성능을 입증했다.
• 명시적 운동 모델링이나 정렬 단계 없이도 최신 기술 수준의 결과를 달성했다.