[論文レビュー] Learning to Deblur and Generate High Frame Rate Video with an Event Camera

Haoyu Chen, Minggui Teng+3 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Memory and Neural Computing参考文献 33被引用数 23

ひとこと要約

本論文は、イベントカメラデータを活用して画像のぼかしを復元し、高フレームレート（HFR）動画を生成する学習ベースの手法を提案する。残差学習フレームワークを採用し、DenseNetブロックで強化された変更版U-Netアーキテクチャと、動画生成にConv-LSTMブロックを用いることで、画像のぼかし復元（PSNR 32.99 dB）および従来手法よりノイズが少なく、より詳細な情報を保持したHFR動画生成という、最先端の性能を達成した。

ABSTRACT

Event cameras are bio-inspired cameras which can measure the change of intensity asynchronously with high temporal resolution. One of the event cameras' advantages is that they do not suffer from motion blur when recording high-speed scenes. In this paper, we formulate the deblurring task on traditional cameras directed by events to be a residual learning one, and we propose corresponding network architectures for effective learning of deblurring and high frame rate video generation tasks. We first train a modified U-Net network to restore a sharp image from a blurry image using corresponding events. Then we train another similar network with different downsampling blocks to generate high frame rate video using the restored sharp image and events. Experiment results show that our method can restore sharper images and videos than state-of-the-art methods.

研究の動機と目的

• 高スピードシーンにおける動きぼかしを、イベントカメラデータとディープラーニングを組み合わせることで解決すること。
• イベントベースの運動情報を利用することで、従来の学習ベース手法を上回る画像のぼかし復元性能を向上させること。
• 1枚のぼやけた画像とイベントデータから、再帰的残差学習アーキテクチャを用いて高フレームレート動画を生成すること。
• 従来のイベントベース手法と比較して、ぼやけた画像や生成された動画におけるノイズ低減と微細なディテールの保持を実現すること。
• イベントカメラと従来のカメラからの補完的データを統合した、ぼかし復元とHFR動画生成の統合パイプラインを構築すること。

提案手法

• ぼかし復元を、ぼやけた画像からシャープネスを回復するための残差マスクを予測するためにイベントデータを用いる、残差学習問題として定式化する。
• 各層にDenseNetブロックを組み込んだ変更版U-Netを採用し、イベントスタックからマルチスケール特徴を効果的に抽出する。
• 代表表現の向上を図るため、単一チャネルではなく6チャネルのイベントスタックを用いることで、ぼかし復元品質を向上させる。
• 訓練の安定化と特徴の効果的伝達を図るため、U-Netにグローバル残差接続を導入する。
• ぼやけた画像とイベントデータから、復元されたシャープな画像を入力として、再帰的に高フレームレートの動画フレームを生成するため、同様の残差アーキテクチャにConv-LSTMブロックを適用する。
• ぼやけたデータと合成イベントを含むGoProデータセットから導出した合成データセット上でぼやけた画像復元ネットワークを学習し、合成データおよび実世界データの両方で評価する。

実験結果

リサーチクエスチョン

• RQ1 イベントカメラデータは、従来の学習ベース手法を上回るぼかし復元性能を実現するために効果的に活用可能か？
• RQ2 イベントを用いた残差学習アプローチは、エンドツーエンドまたは非残差アプローチと比較して、より優れたぼかし復元性能を達成するか？
• RQ3 統合されたディープラーニングフレームワークは、1枚のぼやけた画像とイベントデータから、視覚的品質が向上した高フレームレート動画を生成可能か？
• RQ4 6チャネルのイベント表現（マルチチャネル）は、単一チャネルと比較して、ぼかし復元性能にどのような差をもたらすか？
• RQ5 グローバル残差接続やConv-LSTMブロックといったアーキテクチャ的要素が、ぼかし復元および動画生成品質に与える影響は何か？

主な発見

• 提案手法は、合成データセット上でPSNR 32.99 dBを達成し、Nahら[21] や Tao ら[35] といった最先端手法を上回った。
• 同じデータセットにおいて、SSIMは0.9353を記録し、2番目に優れた手法であるPan ら[24] の0.9043を顕著に上回った。
• 実世界評価では、イベントカメラアーチファクトに起因する背景ノイズが低減した、より明確な画像を生成した。
• HFR動画生成手法は、Pan ら[24] よりノイズが少なく、Rebecq ら[9] よりも詳細が豊富な動画を生成したことが、視覚的および定量的比較で確認された。
• グローバル残差接続を含まないベースラインでは性能が劣化したため、このアーキテクチャ的要素が安定性と正確性の両面で重要であることが確認された。
• 実データにおけるイベントカメラのパrameterが学習データと異なる場合、特にチェッカーボードのような明確な明暗変化領域で失敗が生じる傾向があり、ドメインシフトへの感受性が示された。