[논문 리뷰] Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion

Stepan Tulyakov, Alfredo Bochicchio외 4명|Zurich Open Repository and Archive (University of Zurich)|2022. 03. 31.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

Time Lens++는 연속적이고 재사용 가능한 유 flow를 이벤트와 이미지에서 추정하고, 다중 척도 특징 수준 융합을 통해 재구성 품질과 시간적 일관성을 향상시키는 새로운 이벤트 기반 비디오 프레임 보간 방법을 제안한다. 이로 인해 이미지 수준 융합과 이벤트 희소성으로 인한 아티팩트를 줄이고, 계산 비용을 감소시켜 이전 방법 대비 최대 0.2 dB의 PSNR 향상과 15%의 LPIPS 향상을 달성한다.

ABSTRACT

Recently, video frame interpolation using a combination of frame- and event-based cameras has surpassed traditional image-based methods both in terms of performance and memory efficiency. However, current methods still suffer from (i) brittle image-level fusion of complementary interpolation results, that fails in the presence of artifacts in the fused image, (ii) potentially temporally inconsistent and inefficient motion estimation procedures, that run for every inserted frame and (iii) low contrast regions that do not trigger events, and thus cause events-only motion estimation to generate artifacts. Moreover, previous methods were only tested on datasets consisting of planar and faraway scenes, which do not capture the full complexity of the real world. In this work, we address the above problems by introducing multi-scale feature-level fusion and computing one-shot non-linear inter-frame motion from events and images, which can be efficiently sampled for image warping. We also collect the first large-scale events and frames dataset consisting of more than 100 challenging scenes with depth variations, captured with a new experimental setup based on a beamsplitter. We show that our method improves the reconstruction quality by up to 0.2 dB in terms of PSNR and up to 15% in LPIPS score.

연구 동기 및 목표

• 합성 기반 결과에서 유도된 아티팩트가 전파되는 취약한 이미지 수준 융합 문제를 해결한다.
• 각 프레임을 별도로 처리하는 기존 방법에서 발생하는 시간적 일관성 부족 및 비효율적인 운동 추정 문제를 해결한다.
• 이벤트가 희소하거나 존재하지 않는 저대비 영역에서의 운동 추정 실패 문제를 완화한다.
• 이미지와 이벤트를 동시에 사용하여 시간적으로 일관되고 한 번의 추론으로 가능한 비선형 유 flow 추정기 개발을 통해 효율적인 다중 프레임 보간을 실현한다.
• 깊이 변화와 복잡한 동적 요소를 포함한 다양하고 대규모의 데이터셋을 구축하여 실제 환경에서의 성능 평가를 더 잘 수 있도록 한다.

제안 방법

• 이벤트와 이미지에서 연속적인 유 flow 필드를 예측하는 매개변수화된 비선형 운동 스퍼링 추정기 도입으로, N개의 중간 프레임에 대해 O(1) 계산으로 처리 가능하게 하여 O(N)에서의 계산 비용을 절감한다.
• 운동 모듈에서 이중 인코더 아키텍처를 사용—이벤트와 이미지 각각에 대해 별도의 인코더를 갖추어 독립적인 특징 학습과 더 높은 강건성을 확보한다.
• 공유된 합성 인코더와 게이팅 압축 메커니즘을 갖춘 다중 척도 특징 융합 모듈을 구현하여 각 척도에서 정보가 많은 특징을 선택한다.
• 다단계 학습을 적용하여 네트워크가 한 모odal(예: 이미지)을 忽시하는 것을 방지하기 위해 먼저 인코더를 별도로 학습한 후 공동 최적화를 수행한다.
• 새로운 빔스플리터 기반 설정을 활용해 RGB 카메라와 이벤트 카메라 간의 동기화를 구현하여 정밀한 시간적 정렬과 다중 모odal 데이터의 물리적 캘리브레이션을 가능하게 한다.
• 이벤트 통합과 이미지 차이의 교차상관관계를 활용해 근접 거리 시나리오에서 잔여 픽셀 정렬 오차를 보정한다.

Figure 2 : System overview. Main contribution of this work, shown with a thick contour, are: multi-scale feature fusion that combines synthesis and warping-based interpolations on a feature level on multiple scales and motion spline estimation that computes parametric motion model from boundary fram

실험 결과

연구 질문

• RQ1 이벤트와 이미지에서 한 번의 추론으로 가능한 연속적 비선형 유 flow 추정기가, 보간에서 시간적 일관성 향상과 계산 비용 감소에 기여하는가?
• RQ2 이미지 수준 융합 대비 특징 수준 융합이 합성 기반 보간에서 유도되는 가시성 이상 및 아티팩트 전파를 줄이는 데 더 효과적인가?
• RQ3 이벤트 활동이 최소한인 저대비 영역에서 이미지 데이터를 통합하면 운동 추정 성능이 어떻게 향상되는가?
• RQ4 다단계 학습이 보조적 신호인 이벤트와 이미지 신호의 융합을 방지하고 개선하는 데 얼마나 효과적인가?
• RQ5 깊이 변화와 복잡한 동적 요소를 포함한 다양한 대규모 데이터셋에서 제안된 방법은 평면 시나리오를 초월해 실제 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 벤치마크 및 신규 데이터셋에서 기존 최고 성능 방법 대비 최대 0.2 dB의 PSNR 향상과 최대 15%의 LPIPS 감소를 달성한다.
• 다단계 학습 절차는 운동 추정 모듈에서 0.69 dB, 융합 모듈에서 1.06 dB의 PSNR 향상을 이끌어내어, 모달 간 忽시를 방지하는 데 효과적임을 입증한다.
• 게이팅 압축 기반의 다중 척도 융합 모듈은 공유된 합성 인코더 대비 0.13 dB의 PSNR 향상과 다단계 학습과 조합 시 1.06 dB의 향상을 기록한다.
• 어텐션 맵 분석 결과, 융합 네트워크가 굵은 척도에서는 합성 특징을 우선적으로 사용하고, 미세 척도에서는 워핑 특징을 선호함을 확인하여 기대되는 보완적 강점과 일치한다.
• 깊이 변화, 액체, 화재, 움직이는 배경 등 다양한 요소를 포함한 123개의 시나리오로 구성된 새로운 데이터셋은 실제 복잡한 시나리오에서의 성능 향상이 뚜렷하게 드러난다.
• 운동 스퍼링 추정기는 효율적이고 시간적으로 일관된 유 flow 샘플링을 가능하게 하여, 삽입된 N개의 프레임에 대해 계산 비용을 O(N)에서 O(1)로 감소시킨다.

Figure 3 : Multi-scale fusion decoder progressively combines warping and synthesis interpolation features and features from the previous processing stage performed on a coarser scale using novel gated compression module, that selects most informative features from each source. For detailed explanati