[論文レビュー] v2e: From Video Frames to Realistic DVS Events

Yuhuang Hu, Shih‐Chii Liu+1 more|Zurich Open Repository and Archive (University of Zurich)|Jun 13, 2020

Advanced Memory and Neural Computing参考文献 30被引用数 5

ひとこと要約

本論文は、強度依存帯域幅、ガウス分布の閾値不一致、時間的ノイズ、リークイベントといった主要な物理的非理想性をモデル化することで、動的ビジョンセンサー（DVS）イベントをビデオフレームから生成する新規ツールボックスv2eを紹介する。この手法はモデルの一般化性能を著しく向上させ、合成イベントで学習した場合、夜間走行における車両検出でYOLOv3の強度ベースの学習と比較して40%の精度向上を達成した。

ABSTRACT

To help meet the increasing need for dynamic vision sensor (DVS) event camera data, this paper proposes the v2e toolbox that generates realistic synthetic DVS events from intensity frames. It also clarifies incorrect claims about DVS motion blur and latency characteristics in recent literature. Unlike other toolboxes, v2e includes pixel-level Gaussian event threshold mismatch, finite intensity-dependent bandwidth, and intensity-dependent noise. Realistic DVS events are useful in training networks for uncontrolled lighting conditions. The use of v2e synthetic events is demonstrated in two experiments. The first experiment is object recognition with N-Caltech 101 dataset. Results show that pretraining on various v2e lighting conditions improves generalization when transferred on real DVS data for a ResNet model. The second experiment shows that for night driving, a car detector trained with v2e events shows an average accuracy improvement of 40% compared to the YOLOv3 trained on intensity frames.

研究の動機と目的

• 制御不能な照明条件下でのトレーニングに適した現実的なDVSイベントデータセットの不足に対処する。
• DVSカメラが運動ブラーなしでマイクロ秒スケールの遅延を持つという、文献に広く見られる誤解を是正する。
• 現実のDVSセンサーの制限、特に低照度条件下での挙動を捉えるシミュレーションツールを開発する。
• 合成イベントの有効性を、物体認識や検出のような下流のビジョンタスクにおける一般化性能の向上を通じて実証する。
• DVSベースのモデルの評価を目的とした新しいラベル付きデータセット、MVSEC-NIGHTL21を提供する。

提案手法

• 対数スケールの光受容体応答と変化増幅回路のダイナミクスを含む、物理ベースのDVSピクセル動作モデルを構築する。
• ピクセルレベルでのガウス分布の閾値不一致を組み込み、ピクセル間のばらつきを模擬する。
• 有限で強度依存の帯域幅を導入し、低照度下での遅い応答をモデル化する。
• 光子が不足する状況下での実際のセンサー挙動を反映するために、時間的ノイズとリークイベントを追加する。
• 上記の物理モデルを適用することで、v2eツールボックスを用いて強度フレームからDVSイベントを合成する。
• 合成および実際のイベントデータを用いて、強度ベースのモデルからイベントベースのモデルへの知識伝達を実現するため、ネットワークグラフトイングアルゴリズム（NGA）を適用する。

実験結果

リサーチクエスチョン

• RQ1 強度フレームから現実のセンサー非理想性を正確に反映する形で、合成DVSイベントをどのように生成できるか？
• RQ2 DVSカメラがゼロの運動ブラーとマイクロ秒スケールの遅延を持つという一般的な主張が、現実の照明条件下でも成り立つかどうか？
• RQ3 v2eで生成された合成DVSイベントを事前学習することで、実際のDVSデータに対する微調整時の一般化性能が向上するか？
• RQ4 v2eで生成された低照度イベントで学習することで、実際の夜間イベントデータに対する性能が、強度ベースのモデルよりも向上するか？
• RQ5 DVSセンサーの物理的モデリングが、合成イベントストリームの品質と現実性にどのように影響を与えるか？

主な発見

• 複数の照明条件下でv2eで合成されたイベントを用いたResNetモデルの事前学習により、一般化性能が向上し、実際のDVSデータに対する微調整で教師ありベースラインと同等の精度を達成した。
• v2eで合成された昼間のイベント（GN-D1）で学習したモデルは、実際の夜間イベントデータに対して平均適合率（AP50）36.41%を達成し、強度ベースのYOLOv3（25.94 AP50）と比較して40%の向上を示した。
• v2eで学習したモデルGN-D1を、実際の昼間イベントデータの10%のみで微調整したところ、AP50は68.55に達し、10%の実データで学習したベースラインモデル（47.88 AP50）と比較して43%高い性能を示した。
• v2eで生成された合成夜間イベントがYOLOv3よりも性能を低下させたという直感に反する結果は、v2eの均一な運動ブラーが、実際の夜間シーンにおける車両ヘッドライトに由来する局所的照度に一致しないことによって説明された。
• 実際の夜間イベントデータで学習したグラフトネットワークGN-N1はAP50 29.38を達成し、イベントカメラが低照度条件下で強度カメラよりも優れた耐性を示すことを示した。
• v2eツールボックスは、強度依存帯域幅や時間的ノイズといった主要な非理想性を効果的にモデル化できており、ESIM や rpg_vid2e といった先行シミュレーターよりも現実性の高い合成イベント生成を可能にした。