[論文レビュー] Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion

Stepan Tulyakov, Alfredo Bochicchio+4 more|Zurich Open Repository and Archive (University of Zurich)|Mar 31, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

Time Lens++ は、パラメトリック非線形運動推定とマルチスケール特徴レベル融合を用いた、イベントベースの動画フレーム補間のための新規手法を提案する。イベントと画像からの連続的かつ再利用可能なフローを推定することで、計算コストを低減し、画像レベル融合とイベントの疎らさに起因するアーチファクトを軽減する。従来手法に比べ、PSNRで最大0.2 dBの向上とLPIPSで15%の改善を達成した。

ABSTRACT

Recently, video frame interpolation using a combination of frame- and event-based cameras has surpassed traditional image-based methods both in terms of performance and memory efficiency. However, current methods still suffer from (i) brittle image-level fusion of complementary interpolation results, that fails in the presence of artifacts in the fused image, (ii) potentially temporally inconsistent and inefficient motion estimation procedures, that run for every inserted frame and (iii) low contrast regions that do not trigger events, and thus cause events-only motion estimation to generate artifacts. Moreover, previous methods were only tested on datasets consisting of planar and faraway scenes, which do not capture the full complexity of the real world. In this work, we address the above problems by introducing multi-scale feature-level fusion and computing one-shot non-linear inter-frame motion from events and images, which can be efficiently sampled for image warping. We also collect the first large-scale events and frames dataset consisting of more than 100 challenging scenes with depth variations, captured with a new experimental setup based on a beamsplitter. We show that our method improves the reconstruction quality by up to 0.2 dB in terms of PSNR and up to 15% in LPIPS score.

研究の動機と目的

• 合成ベースの結果に起因するアーチファクトが伝搬される、イベントベースのフレーム補間における壊れやすい画像レベル融合を是正すること。
• 各フレームを独立して処理する従来手法の、時間的に一貫性のないかつ非効率的な運動推定を克服すること。
• イベントが疎らしくまたは存在しない低コントラスト領域における運動推定の失敗を軽減すること。
• 画像とイベントを用いた、時間的に一貫性のあるワンショット非線形フロー推定器を開発し、効率的なマルチフレーム補間を実現すること。
• 奥行きの変動と複雑なダイナミクスを有する、大規模かつ多様なデータセットを構築し、実世界の性能をよりよく評価すること。

提案手法

• イベントと画像から連続的なフローフィールドを予測するパラメトリック非線形モーションスプライン推定器を導入し、N個の中間フレームに対してO(1)の計算量を実現する。これにより、O(N)の計算量を回避できる。
• 運動モジュールにダブルエンコーダアーキテクチャを採用し、イベントと画像のための別々のエンコーダを設けることで、独立した特徴学習とより高い耐障害性を実現する。
• 共有の合成エンコーダとゲート付き圧縮機構を備えたマルチスケール特徴融合モジュールを実装し、各スケールで有用な特徴を選択する。
• 段階的な訓練を適用し、ネットワークが1つのモodal（例：画像）を無視するのを防ぐ。まずエンコーダを別々に訓練し、その後で共同最適化を行う。
• 新規なビームスプリッタ構成を用いてRGBカメラとイベントカメラの同期を図り、正確な時間的整合性とマルチモーダルデータの物理的キャリブレーションを実現する。
• イベント統合と画像差分の相互相関を用いて、近距離シーンにおける残存ピクセルずれを補正する。

Figure 2 : System overview. Main contribution of this work, shown with a thick contour, are: multi-scale feature fusion that combines synthesis and warping-based interpolations on a feature level on multiple scales and motion spline estimation that computes parametric motion model from boundary fram

実験結果

リサーチクエスチョン

• RQ1 イベントと画像からのワンショット連続的非線形フローフィールド推定は、フレーム補間における時間的一致性を向上させるとともに、計算コストを低減できるか？
• RQ2 マルチスケール特徴レベル融合は、合成ベースの補間に起因するゴースト化やアーチファクト伝搬を抑えるために、画像レベル融合を上回る性能を示すか？
• RQ3 イベント活動が最小限の低コントラスト領域において、画像データの統合が運動推定をどのように改善するか？
• RQ4 段階的訓練は、モダリティの崩壊を防ぎ、補完的であるイベントと画像信号の融合をどの程度向上させるか？
• RQ5 奥行きの変動と複雑なダイナミクスを有する、平面的でないシーンを含む多様で大規模なデータセットにおいて、本手法はどの程度の性能を発揮するか？

主な発見

• 提案手法は、ベンチマークおよび新規データセットにおいて、従来の最先端手法に比べ、PSNRを最大0.2 dB向上させ、LPIPSを最大15%低減した。
• 段階的訓練手順により、運動推定モジュールでPSNRが0.69 dB向上、融合モジュールで1.06 dB向上し、モダリティの無視を防ぐ有効性が示された。
• ゲート付き圧縮を備えたマルチスケール融合モジュールは、共有の合成エンコーダに比べ0.13 dBのPSNR向上を達成し、段階的訓練を組み合わせると1.06 dBの向上を示した。
• アテンションマップから、融合ネットワークが粗いスケールでは合成特徴を優先的に使用し、細かいスケールではワープ特徴を好むことが明らかになった。これは期待される補完的特徴の強みと整合的である。
• 奥行きの変動、液体、炎、動的な背景を含む123シーンから構成される新規データセットは、複雑で現実的なシナリオにおける顕著な性能向上を示した。
• モーションスプライン推定器により、効率的かつ時間的に一貫性のあるフローフィールドのサンプリングが可能になり、N個の挿入フレームに対して計算コストをO(N)からO(1)に削減した。

Figure 3 : Multi-scale fusion decoder progressively combines warping and synthesis interpolation features and features from the previous processing stage performed on a coarser scale using novel gated compression module, that selects most informative features from each source. For detailed explanati