[論文レビュー] Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy

Federico Paredes-Vallés, Guido de Croon|arXiv (Cornell University)|Sep 17, 2020

Advanced Memory and Neural Computing参考文献 37被引用数 15

ひとこと要約

本論文は、光度一定性と推定されたオプティカルフローを用いて、真値データや合成データを必要とせずにイベントカメラデータから強度フレームを再構築する自己教師あり学習フレームワークを提案する。この手法は、実際のイベントデータ上で最先端の再構築品質を達成し、教師あり手法と同等の性能を示す一方で、高速推論を可能にする軽量なオプティカルフローネットワーク、FireFlowNetを導入している。

ABSTRACT

Event cameras are novel vision sensors that sample, in an asynchronous fashion, brightness increments with low latency and high temporal resolution. The resulting streams of events are of high value by themselves, especially for high speed motion estimation. However, a growing body of work has also focused on the reconstruction of intensity frames from the events, as this allows bridging the gap with the existing literature on appearance- and frame-based computer vision. Recent work has mostly approached this problem using neural networks trained with synthetic, ground-truth data. In this work we approach, for the first time, the intensity reconstruction problem from a self-supervised learning perspective. Our method, which leverages the knowledge of the inner workings of event cameras, combines estimated optical flow and the event-based photometric constancy to train neural networks without the need for any ground-truth or synthetic data. Results across multiple datasets show that the performance of the proposed self-supervised approach is in line with the state-of-the-art. Additionally, we propose a novel, lightweight neural network for optical flow estimation that achieves high speed inference with only a minor drop in performance.

研究の動機と目的

• 既存の画像再構築手法が合成データや真値データに依存している問題を解決するため、自己教師あり学習フレームワークを導入すること。
• イベントカメラの物理的原理、特に光度一定性を活用して、実際のイベントデータ上でニューラルネットワークを直接学習させること。
• イベントベースビジョンに特化した軽量で高速推論が可能なオプティカルフロー用ニューラルネットワークの開発。
• 複数の実世界データセットを用いた定量的・定性的な評価を通じて、自己教師ありフレームワークの有効性を検証すること。

提案手法

• フレームワークは2つのニューラルネットワークを用いる：オプティカルフロー推定のためのFlowNetと、画像再構築のためのReconNet。両者とも自己教師ありで訓練される。
• FlowNetは真値データなしの教師なし環境でも推定精度を向上させるために、コントラスト最大化の代理損失関数を用いて訓練される。
• ReconNetは、イベントベースの光度一定性制約を強制することで、イベント間のオプティカルフローと明るさの変化を結びつけることで、強度フレームを再構築する。
• この手法は、両ネットワークの誤差逆伝播を通じて、イベントとフローの整合性のみに依存して、フローと再構築を同時に最適化する。
• イベントデータに最適化された、FireNetをインspiredとする新しい軽量アーキテクチャ、FireFlowNetが提案されている。
• 訓練プロセスは、合成データや真値の強度フレームを一切使用せず、光度一定性の原則にのみ依存している。

実験結果

リサーチクエスチョン

• RQ1 真値データや合成データを一切使用せずに、自己教師あり学習を用いてイベントカメラからの画像再構築が可能かどうか。
• RQ2 光度一定性に基づく自己教師あり手法は、最先端の教師あり手法と比較してどの程度の性能を示すか。
• RQ3 軽量なニューラルネットワークによるオプティカルフロー推定は、イベントデータにおいても高精度を維持しながら高速推論を達成できるか。
• RQ4 実世界のシナリオにおいて、自己教師あり再構築フレームワークの主な失敗モードは何か。

主な発見

• 提案された自己教師あり手法は、真値データや合成データを一切使用せずに、最先端の教師あり手法と同等の再構築品質を達成した。
• 複数のデータセットにおける定量的指標（MSE、SSIM、LPIPS）の結果から、ReconNetのバリエーションはE2VIDやFireNetと同等の性能を示したが、知覚的類似性（LPIPS）にやや大きな差が見られた。これは、知覚最適化が欠如しているためである。
• オプティカルフロー推定が不十分な場合、再構築画像に動きぼけが生じることが観察され、これはデブラーイングのためのフロー精度に依存していることを示している。
• エッジ情報が限られるテクスチャが乏しい領域ではゴーストアーチファクトが発生し、これはイベントベース再構築における知られている課題である。
• 初期明るさ $L_0$ が不明な場合、再構築が一貫性を欠くことが観察され、明るさの事前知識が欠如している場合の制限を示している。
• FireFlowNetは、より大きなネットワークと比較してわずかな性能低下しか示さず、精度を損なうことなく効率的な高速推論を実現している。