[論文レビュー] ABMOF: A Novel Optical Flow Algorithm for Dynamic Vision Sensors

Min Liu, Tobi Delbrück|arXiv (Cornell University)|May 10, 2018

Robotics and Sensor-Based Localization参考文献 3被引用数 10

ひとこと要約

本稿では、動的ビジョンセンサー（DVS）向けに、適応的時間スライス回転とフィードバック制御によるスライス期間調整を用いるイベント駆動型オプティカルフロー手法ABMOFを提案する。これにより、精度とハードウェア効率の両方を向上させ、自然画像においてルーカス＝カナンデ法と同等の性能を達成するとともに、コンactで乗算子を不要とするFPGA実装を可能にする。

ABSTRACT

Dynamic Vision Sensors (DVS), which output asynchronous log intensity change events, have potential applications in high-speed robotics, autonomous cars and drones. The precise event timing, sparse output, and wide dynamic range of the events are well suited for optical flow, but conventional optical flow (OF) algorithms are not well matched to the event stream data. This paper proposes an event-driven OF algorithm called adaptive block-matching optical flow (ABMOF). ABMOF uses time slices of accumulated DVS events. The time slices are adaptively rotated based on the input events and OF results. Compared with other methods such as gradient-based OF, ABMOF can efficiently be implemented in compact logic circuits. Results show that ABMOF achieves comparable accuracy to conventional standards such as Lucas-Kanade (LK). The main contributions of our paper are new adaptive time-slice rotation methods that ensure the generated slices have sufficient features for matching,including a feedback mechanism that controls the generated slices to have average slice displacement within the block search range. An LK method using our adapted slices is also implemented. The ABMOF accuracy is compared with this LK method on natural scene data including sparse and dense texture, high dynamic range, and fast motion exceeding 30,000 pixels per second.The paper dataset and source code are available from http://sensors.ini.uzh.ch/databases.html.

研究の動機と目的

• 非同期的でスパースかつ高ダイナミックレンジなDVSイベントストリームに適用された従来のオプティカルフロー手法の限界を克服すること。
• 高速運動、低照度、極端な照度変動といった困難な条件下でも、オプティカルフロー推定の精度を向上させること。
• 論理回路にやさしく、乗算子を不要とするアルゴリズム設計により、FPGA上での効率的で低消費電力なオプティカルフロー実装を可能とすること。
• 多様な運動プロファイルにわたって、ブロックマッチングに十分な特徴量を保持する適応的時間スライス生成を実現すること。

提案手法

• 局所的な運動特性に基づいて、蓄積されたDVSイベントの時間スライスを適応的に回転させることで、特徴量を保持し、アパーチャ効果を低減する。
• 平均マッチングディスプレースメントがブロック探索範囲の半分以内に保たれるように、スライス期間をフィードバック制御で調整するメカニズムを実装する。
• センサデータを破棄せずに、重複計算を回避する適応的イベントスキップ機構を導入し、パイプライン効率を向上させる。
• マルチスケール時間スライスを用いることで、測定可能な速度範囲を拡大し、ノイズや低周波数運動に対するロバスト性を向上させる。
• ブロックマッチングにおいてフルサーチの代わりにダイアモンドサーチを適用することで、12ピクセルの探索範囲において計算コストを約14倍低減する。
• 適応的スライスをルーカス＝カナンデに基づく手法（ABMOF_LK）に統合し、性能比較とスライス品質の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 固定期間スライスと比較して、適応的時間スライス回転と期間制御がDVSイベントストリームにおけるオプティカルフロー精度を向上させるか。
• RQ2 スライス期間のフィードバック制御機構が、高速運動または変動する運動状態において、どの程度性能を向上させるか。
• RQ3 マルチスケール時間スライスアプローチは、DVSにおけるオプティカルフロー推定の測定可能な速度範囲をどの程度拡大するか。
• RQ4 適応的スライス生成手法が、ルーカス＝カナンデのようなフレームベースオプティカルフロー手法に適した高品質な画像を生成できるか。
• RQ5 FPGAにデプロイ可能なイベント駆動型オプティカルフローアルゴリズムにおいて、フロー精度とハードウェア効率のトレードオフはどのようなものか。

主な発見

• ABMOFは、自然画像データ（疎なテクスチャ、密集したテクスチャ、高ダイナミックレンジ、1秒間に30,000ピクセルを超える運動を含む）において、ルーカス＝カナンデ法と同等のオプティカルフロー精度を達成する。
• 適応的スライス期間フィードバック機構により、平均マッチングディスプレースメントがブロック探索範囲内に保たれ、ロバスト性と精度が向上する。
• 探索距離r=4および3スケールを用いることで、ABMOFは各軸方向に±32ピクセルのオプティカルフロー推定が可能となり、複雑なカメラ運動をカバーできる。
• 10,000ピクセル/秒を超える速度の測定が可能となり、これは従来、高級ゲームマウスセンサでのみ達成可能であった。
• FPGAリソース推定では、ABMOFが中規模FPGA（例：Xilinx Zynq-7000 XC7Z100）に6%のフリップフロップ使用率、36%のLUT使用率で実装可能であり、コンactで低消費電力なデプロイが可能である。
• 適応的スライスは、固定期間スライスと比較して、ブロックマッチングおよびルーカス＝カナンデ手法の両方において顕著な性能向上をもたらし、その品質とロバスト性を実証した。