[論文レビュー] How to Train Your Event Camera Neural Network

Timo Stoffregen, Cedric Scheerlinck+5 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Memory and Neural Computing参考文献 22被引用数 5

ひとこと要約

本論文は、イベントベースのニューラルネットワークにおける新規なデータ拡張およびトレーニング戦略を提案し、動画再構成およびオプティカルフローのタスクにおいて顕著な性能向上を達成した。新規な高品質フレーム（HQF）データセットと最適化されたトレーニングプロトコルを導入することで、最先端のベースライン比で動画再構成タスクで20–40%、オプティカルフローネットワークで最大15%の性能向上を達成した。

ABSTRACT

Event cameras are paradigm-shifting novel sensors that report asynchronous, per-pixel brightness changes called 'events' with unparalleled low latency. This makes them ideal for high speed, high dynamic range scenes where conventional cameras would fail. Recent work has demonstrated impressive results using Convolutional Neural Networks (CNNs) for video reconstruction and optic flow with events. We present strategies for improving training data for event based CNNs that result in 20-40% boost in performance of existing state-of-the-art (SOTA) video reconstruction networks retrained with our method, and up to 15% for optic flow networks. A challenge in evaluating event based video reconstruction is lack of quality ground truth images in existing datasets. To address this, we present a new High Quality Frames (HQF) dataset, containing events and ground truth frames from a DAVIS240C that are well-exposed and minimally motion-blurred. We evaluate our method on HQF + several existing major event camera datasets.

研究の動機と目的

• 既存のイベントカメラデータセットに高品質な真値フレームが不足していることによる、動画再構成モデルの信頼できる評価が制限されている問題に対処すること。
• イベントベースの畳み込みニューラルネットワーク（CNN）のトレーニングデータの品質と多様性を向上させ、モデルの汎化性能と性能を向上させること。
• DAVIS240Cセンサーからのイベントと同期された、適切に露出された、最小限の運動歪みを有する真値フレームを備えた新規ベンチマークデータセットHQFの開発。
• 提案されたトレーニング手法を用いて、複数のイベントベースタスク、特に動画再構成およびオプティカルフローにおいて一貫した性能向上を示すこと。

提案手法

• 著者らは、DAVIS240Cイベントカメラから同期されたイベントと、高品質で適切に露出され、運動歪みが最小限のフレームを収録した新規データセットHigh Quality Frames（HQF）を導入した。
• モデルのロバストネスと収束性を向上させるために、トレーニングデータの多様性と品質を向上させるデータ拡張戦略を提案した。
• 動画再構成およびオプティカルフローのための既存の最先端（SOTA）アーキテクチャを再利用し、HQFデータと提案されたトレーニングプロトコルでファインチューニングした。
• イベントデータの特徴（例：疎で非同期なイベントストリーム）に適合した最適化されたデータサンプリングおよび損失関数を含むトレーニングプロトコルを採用した。
• イベントデータの時間的精度を活用し、イベントバーストを真値フレームと同期させることで、トレーニング中の監視精度を向上させた。
• 本手法はHQFおよび複数の既存のイベントカメラベンチマークで評価され、多様なシーンダイナミクスにわたる汎用性を確認した。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータの品質と多様性を向上させることで、イベントベースの動画再構成ネットワークに顕著な性能向上をもたらすことができるか？
• RQ2 高品質で適切に露出された真値フレームの導入は、イベントベースのCNNのトレーニングおよび推論にどのような影響を及えるか？
• RQ3 提案されたトレーニング戦略は、動画再構成やオプティカルフローといった異なるイベントベースタスクにどの程度一般化可能か？
• RQ4 新規のHQFデータセットは、既存のデータセットと比較して、イベントベースの動画再構成モデルの評価に信頼できるベンチマークを提供するか？

主な発見

• 提案されたトレーニング戦略により、HQFデータセットで再トレーニングした場合、動画再構成ネットワークで20–40%の性能向上が達成された。
• オプティカルフローネットワークでは、最先端のモデル比で最大15%の性能向上が達成された。
• HQFデータセットは、高品質で最小限の運動歪みを有する真値フレームを提供し、再構成モデルの評価をより正確に行えるようにした。
• 性能向上は、複数のイベントカメラデータセットにわたって一貫しており、提案手法の汎用性を示している。
• 結果から、データ品質とトレーニングプロトコルが、イベントベースのディープラーニングにおける最先端性能を達成する上で極めて重要な要因であることが示された。