[論文レビュー] Events-To-Video: Bringing Modern Computer Vision to Event Cameras

Henri Rebecq, René Ranftl+2 more|Zurich Open Repository and Archive (University of Zurich)|Apr 17, 2019

Advanced Memory and Neural Computing参考文献 54被引用数 7

ひとこと要約

本論文では、非同期なイベントストリームから高品質な自然な動画を再構築するための再帰的ニューラルネットワークを提案する。これにより、市販のコンピュータビジョンアルゴリズムの直接適用が可能になる。本手法は、知覚損失を活用し、シミュレーテッドデータ上で訓練することで、オブジェクト分類およびビジュアルインertialオドメトリにおいて、最新のイベント固有のアルゴリズムを上回る性能を示しており、熟練したコンピュータビジョン技術が動画再構築を介してイベントカメラに効果的に転送可能であることを示している。

ABSTRACT

Event cameras are novel sensors that report brightness changes in the form of asynchronous "events" instead of intensity frames. They have significant advantages over conventional cameras: high temporal resolution, high dynamic range, and no motion blur. Since the output of event cameras is fundamentally different from conventional cameras, it is commonly accepted that they require the development of specialized algorithms to accommodate the particular nature of events. In this work, we take a different view and propose to apply existing, mature computer vision techniques to videos reconstructed from event data. We propose a novel recurrent network to reconstruct videos from a stream of events, and train it on a large amount of simulated event data. Our experiments show that our approach surpasses state-of-the-art reconstruction methods by a large margin (> 20%) in terms of image quality. We further apply off-the-shelf computer vision algorithms to videos reconstructed from event data on tasks such as object classification and visual-inertial odometry, and show that this strategy consistently outperforms algorithms that were specifically designed for event data. We believe that our approach opens the door to bringing the outstanding properties of event cameras to an entirely new range of tasks. A video of the experiments is available at https://youtu.be/IdYrC4cUO0I

研究の動機と目的

• 従来のコンピュータビジョンとイベントカメラデータの間のギャップを埋めるために、イベントストリームから自然な見た目の動画を再構築すること。
• 従来の画像を対象として設計された、事前に訓練済みのコンピュータビジョンモデルを、イベントカメラデータに直接利用可能にするための手段を提供すること。
• シミュレーテッドイベントデータを用いて知覚的スーパvised学習を行うことで、最新の手法を上回る動画再構築品質を実現すること。
• オブジェクト分類やビジュアルインエイティブオドメトリを含む実世界のタスクにおいて、本手法の有効性を検証し、イベント固有のアルゴリズムと比較して優れた性能を示すこと。

提案手法

• イベントストリームから動画フレームを再構築するための新しい再帰的ニューラルネットワークアーキテクチャを提案する。
• 本ネットワークは、実際の動画フレームから生成された大規模な合成イベントシーケンスデータセット上で訓練される。このデータセットは、現実的な運動および明るさの変化をシミュレートしている。
• 自然画像の統計的性質に類似した再構築画像を得るために、事前に訓練されたVGGネットワークからの中位レベル特徴量に基づく知覚損失が使用される。
• イベントウィンドウは時間的クリップ単位で処理され、最終的な再構築フレームが下流タスクの入力として使用される。
• 再構築パイプラインは、イベントの空間的・時間的符号化を経て、時間的依存性をモデル化する再帰的処理モジュールを含む。
• 本手法は、シミュレーテッドデータのみで訓練されているにもかかわらず、複数のベンチマークを通じて、実際のイベントデータへも顕著な一般化性能を示している。

実験結果

リサーチクエスチョン

• RQ1 イベントストリームからの高品質な自然動画再構築が、市販の成熟したコンピュータビジョンモデルをイベントデータに直接適用可能にするか。
• RQ2 シミュレーテッドイベントデータからの動画再構築学習が、実世界のイベントシーケンスへ効果的に一般化できるか。
• RQ3 知覚損失を用いた動画再構築が、専用のイベント処理アルゴリズムと比較して、下流のビジョンタスクで優れた性能を達成できるか。
• RQ4 再構築されたイベント動画に標準的なコンピュータビジョンモデルを適用した場合、オブジェクト分類およびビジュアルインエイティブオドメトリにおいて、最新のイベント固有手法と比較してどの程度の性能向上が得られるか。
• RQ5 従来の再構築損失と比較して、知覚的に動機づけられた損失が、再構築品質および下流タスクの性能をどの程度向上させるか。

主な発見

• 提案手法は、ベンチマークデータセットにおいて、画像品質指標で最新の再構築技術を20%以上上回っている。
• 再構築された動画を用いることで、市販のディーブラーニングモデル（例：ResNet18、シンプルなCNN）が、イベントデータ専用に設計されたアルゴリズムよりも優れた性能をオブジェクト分類タスクで達成している。
• N-Caltech101データセットでは、再構築画像に微調整を施したResNet18を用いて94.7%のテスト精度を達成し、専用のイベントベースモデルを上回った。
• ビジュアルインエイティブオドメトリにおいて、本手法は長距離トラジェクトリで特に顕著に、UltimateSLAM (E+I) や UltimateSLAM (E+F+I) よりも低い平均変位および回転誤差を達成した。
• M-NNIST や N-CARS のような実世界データセットにおいても、シミュレーテッドトレーニングデータから実イベントシーケンスへ顕著な一般化が可能であることが、高品質な再構築により裏付けられている。
• 知覚損失モジュールは、再構築画像の視覚的妥当性および自然画像との統計的類似性を顕著に向上させ、下流タスクへの転送性能を向上させている。