[論文レビュー] High Frame Rate Video Reconstruction based on an Event Camera

Liyuan Pan, Richard Hartley+4 more|arXiv (Cornell University)|Mar 12, 2019

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿では、DAVISカメラから得られる1枚のぼやけた強度フレームとそれに付随するイベントデータから、高フレームレートで鮮鋭な動画を再構築する、新しいmEDI（複数イベントベース二重積分）モデルを提案する。運動ぼかしを潜在的な鮮明なフレームの積分としてモデル化し、イベントデータを用いて時間的ダイナミクスを回復することで、効率的な最適化により、合成データおよび実データの両方において、定量的指標および視覚的品質の両面で最先端の手法を上回るぼかし除去と高時間分解能再構築を達成する。

ABSTRACT

Event-based cameras measure intensity changes (called `events') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the `active pixel sensor' (APS), the `Dynamic and Active-pixel Vision Sensor' (DAVIS) allows the simultaneous output of intensity frames and events. However, the output images are captured at a relatively low frame rate and often suffer from motion blur. A blurred image can be regarded as the integral of a sequence of latent images, while events indicate changes between the latent images. Thus, we are able to model the blur-generation process by associating event data to a latent sharp image. Based on the abundant event data alongside a low frame rate, easily blurred images, we propose a simple yet effective approach to reconstruct high-quality and high frame rate sharp videos. Starting with a single blurred frame and its event data from DAVIS, we propose the Event-based Double Integral (EDI) model and solve it by adding regularization terms. Then, we extend it to multiple Event-based Double Integral (mEDI) model to get more smooth results based on multiple images and their events. Furthermore, we provide a new and more efficient solver to minimize the proposed energy model. By optimizing the energy function, we achieve significant improvements in removing blur and the reconstruction of a high temporal resolution video. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real datasets demonstrate the superiority of our mEDI model and optimization method compared to the state-of-the-art.

研究の動機と目的

• DAVISカメラの強度画像における低フレームレートおよび運動ぼかしの制限を克服しつつ、高速なイベントデータを活用すること。
• 従来のイベントのみまたは画像のみの再構築手法が、静的またはゆっくり動くシーンでテクスチャや一貫性を失うという欠点を是正すること。
• イベントデータを潜在的な鮮明なフレームに結びつけることで、ぼかし生成プロセスを統合的にモデル化する統一フレームワークの構築。
• 1枚のぼやけたフレームとその関連イベントから、過去の画像+イベント統合手法がぼかしを無視するのを改善した高時間分解能動画再構築を可能にすること。

提案手法

• 運動ぼかしを潜在的鮮明フレームの積分として表現するイベントベース二重積分（EDI）モデルを提案。イベントはそれらの間の強度変化を示す。
• 複数のぼやけたフレームとそれに対応するイベントストリームを組み込むことで、時間的整合性と滑らかさを向上させたmEDIモデルにEDIを拡張。
• データ適合性と正則化項を組み合わせたエネルギー関数を最小化する非凸最適化問題を定式化し、高品質な再構築を可能にする。
• 従来の手法よりも大幅に計算効率を向上させる、1つのスカラ変数上で動作する新しい効率的ソルバを導入。
• フィボナッチ数列に基づくサンプリング戦略を採用し、計算コストを増加させることなく時間分解能を向上。
• HDR強化を適用して、高ダイナミックレンジのシーンにおける視覚的品質を向上させ、微細なテクスチャと色再現性を保持。

実験結果

リサーチクエスチョン

• RQ1 イベントデータと1枚のぼやけたフレームを効果的に統合することで、テクスチャと運動の一貫性を保ちながら高フレームレートで鮮鋭な動画を再構築できるか？
• RQ2 イベントデータを用いて、潜在的鮮明フレームの積分としてぼかし生成プロセスをどのようにモデル化できるか？
• RQ3 複数のぼやけたフレームとそれらのイベントを組み込むことで、単一フレーム手法と比較して滑らかでより正確な高フレームレート動画再構築が可能になるか？
• RQ4 提案されたmEDIモデルは、最先端のイベントのみまたは画像+イベント統合手法よりもぼかし除去および時間分解能で優れているか？
• RQ5 類似したエネルギーモデルに対する既存のソルバーよりも、本手法の最適化手法は計算効率および再構築品質で優れているか？

主な発見

• 合成データセットにおいて、mEDIモデルはPSNRが最高で、SSIMスコアも競争力を持つ。ベースライン手法（ぼかし除去後に再構築する手法）を著しく上回る。
• 実世界のデータセット（低照度やテキストを含むシーン）において、本手法は最先端のイベントのみの手法よりも視覚的に優れた結果を生み出し、より豊かなテクスチャディテールと優れた運動一貫性を実現。
• 静的背景やイベントが少ないシーンでも、本手法は高フレームレート動画を効果的に再構築でき、イベントのみの手法がテクスチャを保持できない状況でも有効である。
• 提案された最適化ソルバにより、問題が1つのスカラ変数に簡略化されるため、計算が著しく効率的になり、リアルタイム応用に実用的である。
• mEDIモデルは極端な照明変化やイベントノイズに対しても頑健であるが、急激な照明変化や非常に少ないイベント数の状況では性能がわずかに低下する。
• 視覚的比較により、再構築された動画は高忠実度を維持しており、E2VID、Scheerlinckら、および他のイベントベース再構築手法と比較して、時間的整合性が向上し、アーチファクトが減少している。