[論文レビュー] V2E: From video frames to realistic DVS event camera streams.

Tobi Delbrück, Yuhuang Hu+1 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Memory and Neural Computing参考文献 31被引用数 33

ひとこと要約

本論文では、しきい値の不一致、帯域制限、ノイズといった物理的センサ特性をモデル化することで、強度映像フレームから現実的なDVSイベントストリームを生成するv2eというツールボックスを紹介する。これは、適応的しきい値および帯域幅キャリブレーションを通じて、合成された低照度DVSデータの生成と、実際の記録データの統計と一致させることで、動的ビジョンセンサデータ合成における重要な空白を埋める。

ABSTRACT

To help meet the increasing need for dynamic vision sensor (DVS) event camera data, we developed the v2e toolbox, which generates synthetic DVS event streams from intensity frame videos. Videos can be of any type, either real or synthetic. v2e optionally uses synthetic slow motion to upsample the video frame rate and then generates DVS events from these frames using a realistic pixel model that includes event threshold mismatch, finite illumination-dependent bandwidth, and several types of noise. v2e includes an algorithm that determines the DVS thresholds and bandwidth so that the synthetic event stream statistics match a given reference DVS recording. v2e is the first toolbox that can synthesize realistic low light DVS data. This paper also clarifies misleading claims about DVS characteristics in some of the computer vision literature. The v2e website is this https URL and code is hosted at this https URL.

研究の動機と目的

• 現実的なDVSイベントデータ、特に低照度条件下での不足を解消すること。
• 任意の映像入力（実際または合成）からDVSに類似したイベントストリームを合成するツールを開発すること。
• 現実性を高めるために、しきい値の不一致、有限帯域幅、ノイズといった重要な物理的DVS特性をモデル化すること。
• 合成されたイベントストリームの統計的性質を、実際のDVS記録のそれと一致させるためのキャリブレーションを実施すること。
• 従来のコンピュータビジョン文献に見られるDVS動作に関する誤解を是正すること。

提案手法

• v2eツールボックスは入力映像フレームを受け取り、必要に応じて合成されたスローモーションを適用してフレームレートを向上させる。
• ピクセル単位のイベント生成を、イベントしきい値の不一致と照度依存の帯域幅を組み込んだ現実的な物理モデルを用いてモデル化する。
• ダークカレントやリードノイズを含む複数のノイズタイプをシミュレートすることで、現実性を向上させる。
• 最適化アルゴリズムにより、参照DVS記録の統計的性質と一致するようにDVSのしきい値および帯域幅を調整する。
• 本ツールボックスは、実映像および合成映像の両方の入力に対応でき、広範な適用性を有する。
• 従来のツールでは実現不可能だった、合成された低照度DVSデータの生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な映像フレームから、現実的なセンサ動作を保持したまま、合成DVSイベントストリームを生成できるか？
• RQ2 しきい値の不一致や帯域幅といった物理的DVS特性を、合成データ内で正確にモデル化する方法は何か？
• RQ3 合成イベントストリームを、実際のDVS記録の統計的性質に一致させることが可能か？
• RQ4 ノイズと帯域制限は、現実的なイベントストリーム生成においてどのような役割を果たすか？
• RQ5 低照度ビジョン研究を支援するため、合成された低照度DVSデータをどのように生成できるか？

主な発見

• v2eは、適応的しきい値および帯域幅キャリブレーションを通じて、実際のDVS記録の統計的性質に非常に近い合成DVSイベントストリームを生成した。
• 本ツールボックスは、従来の合成ツールでは実現できなかった現実的な低照度DVSデータを生成した。
• ノイズモデルと有限帯域幅の導入により、合成イベントストリームの物理的妥当性が向上した。
• 本手法は、先行するコンピュータビジョン文献に見られるDVS動作に関する一般的な誤解を効果的に是正した。
• 合成されたスローモーションアップサンプリングにより、時間分解能が向上し、下流タスクにおけるイベントストリーム品質が向上した。
• 本ツールボックスは、研究およびベンチマークのための再現可能でスケーラブルな多様なDVSデータの生成を可能にした。