[論文レビュー] Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor

Timo Stoffregen, Lindsay Kleeman|arXiv (Cornell University)|May 31, 2018

Advanced Vision and Imaging被引用数 31

ひとこと要約

本論文は、動的ビジョンセンサー（DVS）からのイベントを同時に光流を推定し、セグメンテーションする新規アルゴリズムSOFASを提案する。3次元空間（x, y, t）におけるイベント軌道をモデル化することで、局所的ピクセル領域ではなく全体的な構造を分析するため、アパーチャ問題を回避し、特に可変速度やオブジェクトセグメンテーションにおいて、従来手法よりも高い精度を達成する。計算オーバーヘッドは最小限に抑えられる。

ABSTRACT

We present an algorithm (SOFAS) to estimate the optical flow of events generated by a dynamic vision sensor (DVS). Where traditional cameras produce frames at a fixed rate, DVSs produce asynchronous events in response to intensity changes with a high temporal resolution. Our algorithm uses the fact that events are generated by edges in the scene to not only estimate the optical flow but also to simultaneously segment the image into objects which are travelling at the same velocity. This way it is able to avoid the aperture problem which affects other implementations such as Lucas-Kanade. Finally, we show that SOFAS produces more accurate results than traditional optic flow algorithms.

研究の動機と目的

• 動的ビジョンセンサー（DVS）からのイベントベースデータに適用された従来の光流アルゴリズムの限界、特にアパーチャ問題を解消すること。
• DVSイベントストリームの高い時間分解能とスパarsityを活用し、より強固で効率的な光流推定手法を開発すること。
• 速度に基づいて動きの構造を同時にセグメンテーションすることで、運動中の物体を自然にグループ化すること。
• 本手法が非定常な速度や形状の変化に対しても適応可能であり、従来の光流技術に比べてイベントデータ上で優れた性能を示すことを実証すること。
• 非同期的でフレームレスなデータ生成というイベントベースセンシングの内在的特性を活用し、リアルタイムかつ低遅延の視覚処理を可能にすること。

提案手法

• 各イベントを、画素での輝度変化を表す極性を伴った、空間時間座標（u, v, t）における3次元点として表現する。
• 動きのある構造物を画像平面内の2次元断面Cとしてモデル化し、イベントがその軌道に沿って押し出された3次元点群を形成する。
• 速度ベクトル（v_u, v_v）を符号化するパラメトリック変換を用いて、3次元イベント点群を2次元の「トラック平面」に投影することで、光流とセグメンテーションの同時推定を可能にする。
• 最小二乗法を用いて、トラック平面への投影における残差誤差を最小化する最適な速度パラメータを推定する。
• 適合した速度パラメータに基づいてイベントをクラスタリングすることで、同じ速度で動く物体を自然にグループ化してシーンをセグメンテーションする。
• Muegglerらの手法にインspiredして、現在の速度推定値を用いてイベントの持続時間を推定することで、時間的整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的な強度勾配ではなく、イベント全体の軌道をモデル化することで、DVSデータにおける光流推定を改善できるか？
• RQ2 トラック平面表現における速度ベースのクラスタリングによって、自然に動きのオブジェクトをセグメンテーションできるか？
• RQ3 提案手法は、Lucas-Kanadeのような局所的光流推定手法に内在するアパーチャ問題を回避できるか？
• RQ4 SOFASは、非一様または加速運動を示す動的シーンにおいて、従来の光流アルゴリズムに比べてどのように性能を発揮するか？
• RQ5 本手法は、オクルージョン、照明変化、複雑な運動パターンといった現実世界の課題をどの程度処理できるか？

主な発見

• SOFASは、合成および実世界のDVSデータを用いた評価において、特に複雑な運動を示すシーンで、従来手法よりもより正確な光流推定を実現する。
• 本手法は速度に基づいたセグメンテーションを成功裏に実行し、ロボットアーム、コ cockroaches、異なる距離に位置する垂直バーなどの構造を明確に分離する。
• 一定加速度（例：振り子運動）の下でも、SOFASは妥当で適応可能な光流推定を生成するが、ノイズが増加する傾向がある。
• 回転運動に対しては、回転モデルが欠落しているため性能が著しく低下するが、短時間の時間間隔ではバーを縦方向にセグメンテーションし、妥当な光流推定が得られる。
• オクルージョンに対しても本手法は頑健である。以前に隠れていた物体が再び現れた際、その速度に基づいて別個の構造として再セグメンテーションする。
• 標準CPU上では処理時間が長く（例：257kイベントで46.5秒）、最適化によるリアルタイム実装の可能性は模索が必要だが、モジュラで並列化可能な構造であるため、実現の可能性は高い。