[논문 리뷰] Learning to Super Resolve Intensity Images from Events

Jonghyun Choi, Kuk‐Jin Yoon|arXiv (Cornell University)|2019. 12. 03.

Advanced Memory and Neural Computing참고 문헌 26인용 수 5

한 줄 요약

이 논문은 이벤트 스트림으로부터 직접 고해상도, 고다이나믹 레인지(HDR) 강도 이미지를 복원하는 엔드 투 엔드 딥 러닝 네트워크를 제안한다. 이는 이벤트-이미지 변환 및 초해상도 방법을 조합한 최신 기술들보다 뛰어난 세부 사항 복원 능력과 성능을 달성한다. 이 방법은 복원 품질 향상을 위해 이벤트 데이터에 더하여 활성 센서 픽셀(APS) 프레임 또는 반복적 개선을 선택적으로 통합한다.

ABSTRACT

An event camera detects per-pixel intensity difference and produces asynchronous event stream with low latency, high dynamic range, and low power consumption. As a trade-off, the event camera has low spatial resolution. We propose an end-to-end network to reconstruct high resolution, high dynamic range (HDR) images directly from the event stream. We evaluate our algorithm on both simulated and real-world sequences and verify that it captures fine details of a scene and outperforms the combination of the state-of-the-art event to image algorithms with the state-of-the-art super resolution schemes in many quantitative measures by large margins. We further extend our method by using the active sensor pixel (APS) frames or reconstructing images iteratively.

연구 동기 및 목표

• 이벤트 카메라의 낮은 공간 해상도 문제를 해결하기 위해 비동기 이벤트 스트림으로부터 고해상도 강도 이미지를 복원하는 것.
• 이벤트 데이터를 직접 고해상도, 고다이나믹 레인지(HDR) 이미지로 매핑하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 기존의 최신 기술을 조합한 이벤트-이미지 변환 및 초해상도 기법의 하이브리드 접근 방식을 수치적 지표에서 능가하는 것.
• 활성 센서 픽셀(APS) 프레임 또는 반복적 이미지 복원을 통합하여 이미지 품질을 추가로 향상시키는 것 탐색

제안 방법

• 이 방법은 원시 이벤트 스트림으로부터 직접 고해상도 강도 이미지를 복원하도록 훈련된 엔드 투 엔드 딥 신경망을 사용한다.
• 네트워크는 학습 가능한 필터와 시공간 집합 모듈을 사용하여 비동기 이벤트 데이터의 시간적 및 공간적 패턴을 인코딩한다.
• 재구성된 이미지의 세밀한 디테일과 텍스처 정보를 유지하기 위해 다중 척도 특징 학습을 통합한다.
• 가용할 경우 활성 센서 픽셀(APS) 프레임과의 융합을 지원하여 공간 정확도를 향상시키고 잡음 줄인다.
• 반복적 이미지 복원 변형을 도입하여 여러 번의 네트워크 통과를 통해 출력 이미지를 개선한다.
• 선명도, 현실성, 세부 사항 균형을 맞추기 위해 인지적, 재구성, 적대적 손실의 조합으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 저해상도 이벤트 스트림으로부터 고해상도, 고다이나믹 레인지 강도 이미지를 효과적으로 복원할 수 있는가?
• RQ2 제안된 방법은 최신 기술을 조합한 이벤트-이미지 변환 및 초해상도 기법과 수치적으로 비교해 볼 때 어떻게 성능을 내는가?
• RQ3 APS 프레임이나 반복적 개선과 같은 추가 입력이 재구성된 이미지의 품질을 얼마나 향상시키는가?
• RQ4 기존 방법보다 세밀한 시점 디테일과 텍스처를 더 잘 유지하는가?

주요 결과

• 제안된 방법은 여러 수치 지표에서 최신 기술을 조합한 이벤트-이미지 변환 및 초해상도 파이프라인보다 뚜렷이 뛰어난 성능을 보였다.
• 모의 및 실제 이벤트 시퀀스 양측에서 모델은 더 효과적으로 세밀한 시점 디테일을 포착하는 뛰어난 재구성 품질을 달성했다.
• 활성 센서 픽셀(APS) 프레임을 통합하면 이미지 선명도와 공간 정확도에서 측정 가능한 향상이 있었다.
• 반복적 이미지 복원은 특히 어려운 조명 조건과 운동 조건에서 정밀도를 더욱 향상시켰다.
• 다양한 시점과 다이나믹 레인지에서 뛰어난 일반화 능력을 보이며 안정적인 성능을 유지했다.