[論文レビュー] Dense Continuous-Time Optical Flow from Events and Frames

Mathias Gehrig, Manasi Muglikar+1 more|arXiv (Cornell University)|Mar 25, 2022

Neural dynamics and brain function被引用数 7

ひとこと要約

本論文では、ピクセルの軌道をパラメータ化されたBézier曲線としてモデル化することで、イベントカメラデータから高密度で連続時間の光流を推定する新しい微分可能なニューラルネットワークを提案する。複数の時間的相関ボリュームと反復的なBézier曲線の最適化を活用することで、連続的軌道予測および従来の2フレーム光流ベンチマークの両方で最先端の性能を達成し、合成データではエンドポイント誤差を最大67％、実世界データでは14.5％まで低減した。

ABSTRACT

We present a method for estimating dense continuous-time optical flow from event data. Traditional dense optical flow methods compute the pixel displacement between two images. Due to missing information, these approaches cannot recover the pixel trajectories in the blind time between two images. In this work, we show that it is possible to compute per-pixel, continuous-time optical flow using events from an event camera. Events provide temporally fine-grained information about movement in pixel space due to their asynchronous nature and microsecond response time. We leverage these benefits to predict pixel trajectories densely in continuous time via parameterized Bézier curves. To achieve this, we build a neural network with strong inductive biases for this task: First, we build multiple sequential correlation volumes in time using event data. Second, we use Bézier curves to index these correlation volumes at multiple timestamps along the trajectory. Third, we use the retrieved correlation to update the Bézier curve representations iteratively. Our method can optionally include image pairs to boost performance further. To the best of our knowledge, our model is the first method that can regress dense pixel trajectories from event data. To train and evaluate our model, we introduce a synthetic dataset (MultiFlow) that features moving objects and ground truth trajectories for every pixel. Our quantitative experiments not only suggest that our method successfully predicts pixel trajectories in continuous time but also that it is competitive in the traditional two-view pixel displacement metric on MultiFlow and DSEC-Flow. Open source code and datasets are released to the public.

研究の動機と目的

• 従来の光流手法がフレーム間の盲目的な時間における運動を欠落させるという制限を解消すること。
• イベントカメラの非同期的かつ高時間分解能の性質を活用し、離散的な変位ではなく、高密度の連続的ピクセル軌道を推定すること。
• RAFTおよびE-RAFTを一般化する微分可能なディープラーニングモデルを開発し、ピクセルごとの運動をBézier曲線の制御点の回帰によってモデル化すること。
• 訓練および評価用に高密度の真値ピクセル軌道を備えた新しい合成データセット、MultiFlowを提供すること。
• イベントデータと画像ペアを組み合わせることで、単一モodalな手法に比べて性能が向上することを実証すること。

提案手法

• 本手法は強いインダクティブバイアスを持つニューラルネットワークを用いる：イベントデータから時間的に順次配置された複数の相関ボリュームを構築し、空間時間的運動の手がかりを捉える。
• ピクセル軌道をBézier曲線でパラメータ化することで、任意のタイムスタンプにおけるピクセル位置の連続的予測が可能になる。
• Bézier曲線の制御点は、軌道に沿った補間された時間点で複数の時間的相関ボリュームから特徴を取得することで反復的に更新される。
• 純粋なイベントベースの推論と画像ペアとの融合の両方をサポートする。
• Bézier曲線による非線形軌道モデリングと多時間的相関照合の両方を可能にすることで、RAFTおよびE-RAFTを一般化する。
• 解像度と計算コストのバランスを取るために、時間的ビンサイズを調整可能なボクセルグリッド表現を用いる。

実験結果

リサーチクエスチョン

• RQ1 フレームベースの入力を一切使わず、イベントデータのみから高密度連続時間光流を正確に回帰できるか？
• RQ2 ピクセル軌道をBézier曲線としてモデル化することで、従来の離散的変位予測に比べて運動推定の精度が向上するか？
• RQ3 時間的相関照合の回数が連続的軌道推定の精度に与える影響は何か？
• RQ4 提案手法は実世界データに一般化可能であり、軌道および2視点光流メトリクスの両方で既存の最先端手法を上回るか？
• RQ5 イベントデータと組み合わせた画像データの統合が、性能にどの程度寄与するか？

主な発見

• 合成データセットMultiFlowにおいて、離散的変位のみを予測するベースラインに比べ、エンドポイント誤差（EPE）を約67％低減した。
• 相関照合の回数を1回から5回に増やすことで、軌道エンドポイント誤差（TEPE）は1.81から1.29に低下し、多時間的特徴抽出の利点が示された。
• ボクセルグリッド表現における時間的ビンサイズを細かく（0.0125 s）すると性能が向上し、TEPEはビンサイズ0.1の1.81から0.0125の1.29に低下した。
• 実世界のDSEC-Flowベンチマークでは、先行する最先端のイベントベース手法に比べ、エンドポイント誤差を14.5％低減した。
• 従来の2視点光流メトリクスにおいても、競争力のある性能を達成し、MultiFlowではAEとEPEがそれぞれ3.19および2.27を記録した。
• 入力に画像データを追加することで性能がさらに向上し、E+I入力ではイベントのみの推論よりも低い誤差を達成した。