[논문 리뷰] Formulating Event-based Image Reconstruction as a Linear Inverse Problem with Deep Regularization using Optical Flow

Zelin Zhang, Anthony Yezzi외 1명|arXiv (Cornell University)|2021. 12. 12.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 광학 흐름이 주어졌을 때 밝기에서 선형 역문제로 이벤트 기반 이미지 복원을 공식화하고, 전통적 및 딥 러닝 기반 정규화 기법을 사용하여 해결하는 새로운 설명 가능 프레임워크를 제안한다. 이 방법은 재구성 RNN을 훈련하지 않으며, 짧은 시간 간격의 이벤트 데이터와 이미지 노이즈 제거 CNN을 정규화로 사용함으로써 최신 기술 수준의 이미지 품질을 달성한다.

ABSTRACT

Event cameras are novel bio-inspired sensors that measure per-pixel brightness differences asynchronously. Recovering brightness from events is appealing since the reconstructed images inherit the high dynamic range (HDR) and high-speed properties of events; hence they can be used in many robotic vision applications and to generate slow-motion HDR videos. However, state-of-the-art methods tackle this problem by training an event-to-image Recurrent Neural Network (RNN), which lacks explainability and is difficult to tune. In this work we show, for the first time, how tackling the combined problem of motion and brightness estimation leads us to formulate event-based image reconstruction as a linear inverse problem that can be solved without training an image reconstruction RNN. Instead, classical and learning-based regularizers are used to solve the problem and remove artifacts from the reconstructed images. The experiments show that the proposed approach generates images with visual quality on par with state-of-the-art methods despite only using data from a short time interval. State-of-the-art results are achieved using an image denoising Convolutional Neural Network (CNN) as the regularization function. The proposed regularized formulation and solvers have a unifying character because they can be applied also to reconstruct brightness from the second derivative. Additionally, the formulation is attractive because it can be naturally combined with super-resolution, motion-segmentation and color demosaicing. Code is available at https://github.com/tub-rip/event_based_image_rec_inverse_problem

연구 동기 및 목표

• 엔드 투 엔드 딥 러닝 기반 이벤트에서 이미지로의 네트워크의 한계를 해결하기 위해, 이는 검정 상자이자 조정이 어려우며 잡음이 발생함을 목적으로 한다.
• 광학 흐름이 주어졌을 때 밝기 복원의 선형성에 착안하여, 더 설명 가능하고 효율적인 솔루션 프레임워크를 가능하게 한다.
• 초해상도, 운동 분할, 색상 디모자이싱과 같은 추가 작업을 지원하는 통합된 역문제 공식화를 개발한다.
• 데이터 집약적이고 설명 불가능한 RNN을 대체하기 위해, 사전 훈련된 딥 노이즈 제거기 기반의 원칙적인 정규화 최적화 접근법을 제시한다.
• 단기적인 이벤트 데이터 윈도우만 사용하여도 고품질의 이미지 복원이 가능하다는 것을 입증한다. 이때 광학 흐름이 핵심 사전 지식으로 기능한다.

제안 방법

• 알려진 광학 흐름 필드가 주어졌을 때, 알려지지 않은 밝기 신호에서 선형 역문제로 이벤트 기반 이미지 복원을 공식화한다.
• 일阶 이벤트 생성 모델을 사용하여, 이벤트가 밝기와 운동의 선형 함수가 되는 선형 시스템을 유도한다.
• 이미지 노이즈 제거 컨volution 신경망(CNN)을 사용하여 잡음 제거 기법을 비스무디스, 비볼록 정규화로 적용하여 잡음과 왜곡을 억제하고 이미지 품질을 향상시킨다.
• 정규화된 최적화 문제를 효율적으로 해결하기 위해 다중 승수 방법의 교대 기법(ADMM)을 사용한다.
• 광학 흐름 추정을 별개의 잘 연구된 하위 문제로 통합하여, 모듈식이고 설명 가능한 설계를 가능하게 한다.
• 동일한 역문제 프레임워크를 통해 초해상도, 운동 분할, 색상 디모자이징과 같은 다른 작업으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 광학 흐름이 알려졌을 때, 이벤트 기반 이미지 복원을 선형 역문제로 공식화할 수 있는가? 이는 학습이 없는 설명 가능한 솔루션을 가능하게 하는가?
• RQ2 정규화된 선형 역문제 솔버의 성능은 최신 기술 수준의 엔드 투 엔드 RNN 기반 방법과 비교해 이미지 품질과 계산 효율성 측면에서 어떻게 되는가?
• RQ3 사전 훈련된 딥 이미지 노이즈 제거 CNN이 미세조정 없이도 이벤트 기반 이미지 복원에 효과적인 정규화 기법으로 기능할 수 있는가?
• RQ4 제안된 방법은 짧은 시간 윈도우의 이벤트 데이터만 사용할 때도 높은 성능을 유지하는가?
• RQ5 동일한 역문제 공식화가 초해상도 및 운동 분할과 같은 다른 비전 작업으로 얼마나 널리 확장 가능한가?

주요 결과

• 제안된 방법은 짧은 시간 간격의 이벤트 데이터만 사용함에도 불구하고 벤치마크 데이터셋에서 최신 기술 수준의 이미지 복원 품질을 달성한다.
• 사전 훈련된 이미지 노이즈 제거 CNN을 정규화로 사용함으로써 고해상도의 정밀한 이미지가 생성되며, 이는 이전의 RNN 기반 접근법보다 시각적 품질에서 뛰어나다.
• 이 방법은 엔드 투 엔드 RNN보다 훨씬 더 설명 가능하다. 왜냐하면 운동과 밝기 추정을 분리하고 잘 알려진 최적화 기법을 사용하기 때문이다.
• 선형 역문제 공식화는 초해상도, 운동 분할, 색상 디모자이징과의 자연스러운 통합을 가능하게 하여, 이 프레임워크의 통합 잠재력을 입증한다.
• 표준 벤치마크에서 경쟁적인 PSNR 및 SSIM 점수를 기록하였으며, 몇몇 시퀀스에서 PSNR 값이 30 dB를 초과하여 높은 시각적 품질을 확인한다.
• 이 방법은 이벤트의 볼륨화 및 관련 메모리 오버헤드를 피하여 희박한 이벤트 스트림에서도 효율적인 처리를 가능하게 한다.