[論文レビュー] Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

Liyuan Pan, Cedric Scheerlinck+4 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Memory and Neural Computing参考文献 31被引用数 11

ひとこと要約

本稿では、1枚のぼやけた強度フレームとそれに応じるイベントデータを用いて、高フレームレートでシャープな動画を再構築するためのイベントベースの二重積分（EDI）モデルを提案する。ぼやけを潜在的シャープフレームの積分としてモデル化し、イベントを用いて動きを推定することで、単一変数の非凸最適化問題を解き、元のAPS出力に比べて最大200倍のフレームレートを達成し、実際および合成された動的シーンにおいて優れたシャープネスと時間的整合性を実現する。

ABSTRACT

Event-based cameras can measure intensity changes (called `{\it events}') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the active pixel sensor (APS), the event camera allows simultaneous output of the intensity frames. However, the output images are captured at a relatively low frame-rate and often suffer from motion blur. A blurry image can be regarded as the integral of a sequence of latent images, while the events indicate the changes between the latent images. Therefore, we are able to model the blur-generation process by associating event data to a latent image. In this paper, we propose a simple and effective approach, the extbf{Event-based Double Integral (EDI)} model, to reconstruct a high frame-rate, sharp video from a single blurry frame and its event data. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real images demonstrate the superiority of our EDI model and optimization method in comparison to the state-of-the-art.

研究の動機と目的

• イベントカメラが記録する低フレームレートの強度画像における動きぼやけを解消すること。これは、イベントデータの高い時間分解能にもかかわらず、動画品質を制限する要因である。
• イベントデータとぼやけた強度フレームの補完的情報を活用して、高フレームレートでシャープな動画を再構築すること。
• ぼやけの生成プロセスを潜在的シャープフレームの積分としてモデル化することで、動きに適応した動画再構築を可能にすること。
• 深層学習や動画の教師データを必要とせず、ぼやけとイベント生成の物理的モデリングに依存する効率的な最適化手法を開発すること。

提案手法

• EDIモデルは、ぼやけたフレームを潜在的シャープフレームの二重積分として定式化し、イベントはこれらのフレーム間の強度変化の微分を表す。
• 本手法は、ぼやけのプロセスを時間的に積分されたシャープフレームの蓄積としてモデル化し、イベントは変化率を符号化する。
• 動画再構築を、再構築フレームがぼやけた画像とイベントストリームと整合するデータ適合項を最小化する単一スカラー変数の非凸最適化問題として定式化する。
• 勾配に基づく手法を用いて最適化を効率的に解き、標準的なハードウェアでもリアルタイム再構築を可能にする。
• 低フレームレートの強度画像と高時間分解能のイベントデータを統合的に用いることで、シャープネスと時間的ダイナミクスの両方を回復する。
• 深層学習や動画の教師信号を一切必要とせず、ぼやけとイベント生成の物理的モデリングに依存する。

実験結果

リサーチクエスチョン

• RQ1 動画学習データや事前運動モデルを必要とせず、イベントデータと1枚のぼやけたフレームを統合的に用いて、高フレームレートでシャープな動画を再構築できるか？
• RQ2 イベントベースの動きの手がかりを用いて、低フレームレートの強度画像におけるぼやけを効果的に逆転できるか？
• RQ3 物理的に意味のある方法で、ぼやけたフレーム、イベントストリーム、および潜在的シャープフレームの関係をモデル化する最適な定式化は何か？
• RQ4 複雑な深層学習やマルチステージ手法に比べて、単純な単一変数最適化アプローチが、ぼやけの除去と動画再構築において優れた性能を示せるか？

主な発見

• 提案されたEDI手法は、最先端のぼやけ除去および動画再構築手法と比較して、合成データおよび実データの両方で最高のPSNRとSSIMを達成した。
• 合成データセットにおいて、本手法はベースライン手法を大きく上回り、PSNRで最大2.5 dBの向上、SSIMで0.1を超える改善を達成した。
• 定性的な比較において、本手法はイベントのみまたはぼやけたフレームのみに依存する手法よりも、シャープで一貫性のあるテクスチャと動きの詳細を含む動画を再構築できた。
• 本手法は、元のAPSフレームレートの200倍まで高いフレームレートで動画を再構築でき、高速運動下でもスケーラビリティを示した。
• 低照度および複雑な動的条件下でも再構築が安定しており、微細なディテールと動きの整合性を保持した。
• リアルタイム性能を達成しており、1つのi7コアで1フレームを約1.5秒で処理でき、実世界への実装に実用的である。