[논문 리뷰] Learning to Deblur and Generate High Frame Rate Video with an Event Camera

Haoyu Chen, Minggui Teng외 3명|arXiv (Cornell University)|2020. 03. 02.

Advanced Memory and Neural Computing참고 문헌 33인용 수 23

한 줄 요약

이 논문은 잔차 학습 프레임워크를 활용하여 이벤트 카메라 데이터를 이용해 이미지의 블러를 제거하고 고프레임레트(고속) 영상을 생성하는 학습 기반 방법을 제안한다. 블러 제거를 수정된 U-Net 아키텍처(다중 연결 블록을 통한 디센넷 강화)를 사용한 잔차 작업으로 공식화하고, 영상 생성에는 Conv-LSTM 블록을 사용함으로써, 이미지 블러 제거(PSNR 32.99 dB)와 고프레임레트 영상 생성에서 기존 방법보다 뛰어난 성능을 달성하였으며, 노이즈는 감소하고 세부 정보는 풍부하게 구현하였다.

ABSTRACT

Event cameras are bio-inspired cameras which can measure the change of intensity asynchronously with high temporal resolution. One of the event cameras' advantages is that they do not suffer from motion blur when recording high-speed scenes. In this paper, we formulate the deblurring task on traditional cameras directed by events to be a residual learning one, and we propose corresponding network architectures for effective learning of deblurring and high frame rate video generation tasks. We first train a modified U-Net network to restore a sharp image from a blurry image using corresponding events. Then we train another similar network with different downsampling blocks to generate high frame rate video using the restored sharp image and events. Experiment results show that our method can restore sharper images and videos than state-of-the-art methods.

연구 동기 및 목표

• 고속 장면에서 발생하는 운동 블러 문제를 이벤트 카메라 데이터와 딥러닝을 융합하여 해결하고자 한다.
• 이벤트 기반 운동 신호를 활용하여 기존의 학습 기반 방법을 초월한 이미지 블러 제거 성능 향상을 도모하고자 한다.
• 일괄적인 블러 이미지와 이벤트 데이터를 기반으로 순환 잔차 학습 아키텍처를 사용하여 고프레임레트 영상 프레임을 생성하고자 한다.
• 기존의 이벤트 기반 방법에 비해 블러 제거된 이미지와 생성된 영상에서 노이즈를 줄이고 세밀한 디테일을 유지하고자 한다.
• 이벤트 카메라와 전통적 카메라의 보완적 데이터를 통합하여 블러 제거 및 고프레임레트 영상 생성을 위한 통합 파이프라인을 개발하고자 한다.

제안 방법

• 이미지 블러 제거를 잔차 학습 문제로 공식화하여, 이벤트 데이터를 활용해 블러 이미지에서 날카움을 복원하기 위한 잔차 마스크를 예측한다.
• 각 레이어에 디센넷 블록을 통합한 수정된 U-Net을 사용하여 이벤트 스택에서 다중 척도 특징을 효과적으로 추출한다.
• 단일 채널 대신 6채널 이벤트 스택을 사용하여 표현 학습을 향상시키고, 블러 제거 품질을 향상시킨다.
• 학습 안정성 향상과 특징 전파 개선을 위해 U-Net에 글로벌 잔차 연결을 도입한다.
• 복원된 날카운 이미지와 이벤트 데이터로부터 순환적으로 고프레임레트 영상 프레임을 생성하기 위해 유사한 잔차 아키텍처에 Conv-LSTM 블록을 적용한다.
• 합성 데이터셋(고프로 데이터셋에서 유도된)을 사용해 블러 제거 네트워크를 훈련하고, 합성 및 실세계 데이터 모두에서 평가한다.

실험 결과

연구 질문

• RQ1 기존의 학습 기반 방법을 초월하여 이벤트 카메라 데이터를 효과적으로 활용해 이미지 블러 제거 성능을 향상시킬 수 있는가?
• RQ2 이벤트 기반 잔차 학습 공식화가 종단간(end-to-end) 또는 비잔차 접근 방식에 비해 더 나은 블러 제거 성능을 제공하는가?
• RQ3 통합된 딥러닝 프레임워크를 통해 단일 블러 이미지와 이벤트 데이터로부터 더 높은 시각적 품질을 갖는 고프레임레트 영상 생성이 가능한가?
• RQ4 블러 제거 성능에서 단일 채널 대비 6채널 이벤트 표현 방식의 성능은 어떻게 비교되는가?
• RQ5 글로벌 잔차 연결 및 Conv-LSTM 블록과 같은 아키텍처 구성 요소가 블러 제거 및 영상 생성 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 합성 데이터셋에서 PSNR 32.99 dB를 달성하여 나 후 등 [21] 및 타오 등 [35]와 같은 최신 기술(SOTA) 방법을 초월하였다.
• 동일한 데이터셋에서 SSIM은 0.9353을 기록하여 다음으로 우수한 방법인 판 등 [24]의 0.9043보다 유의미하게 높았다.
• 실세계 평가에서 기존 방법 대비 더 선명한 이미지를 생성하였으며, 이벤트 카메라의 아티팩트로 인한 배경 노이즈가 감소하였다.
• 고프레임레트 영상 생성 방법은 판 등 [24]보다 노이즈가 적고 레베크 등 [9]보다 더 풍부한 디테일을 구현한 영상을 생성하였으며, 시각적 및 정량적 비교로 확인되었다.
• 글로벌 잔차 연결이 없는 베이스라인은 성능 저하를 보였으며, 이는 이 아키텍처 구성 요소가 안정성과 정확성 향상에 중요한 역할을 함을 확인시켰다.
• 실세계 데이터에서 훈련 데이터와 다른 이벤트 카메라 파라미터 설정, 특히 도말무늬와 같은 날카로운 강도 전이 영역에서 실패 케이스가 발생하여 도메인 샤프트 민감도가 있음을 시사하였다.