[論文レビュー] Event-Based Feature Tracking in Continuous Time with Sliding Window Optimization

Jason Chui, Simon Klenk+1 more|arXiv (Cornell University)|Jul 9, 2021

Advanced Vision and Imaging参考文献 14被引用数 4

ひとこと要約

本稿では、Bスプライン曲線のスライディングウインドウ最適化を用いて、連続時間のイベントベース特徴追跡手法を提案する。特徴の運動を$n^{\text{th}}$次Bスプラインでモデル化し、スライディングウインドウ内で曲線パラメータを最適化することで、従来の最先端手法に比べて追跡精度と耐久性が向上する。公開データセット上での評価では、特徴の平均寿命が最大6%延び、平均誤差も低減した。

ABSTRACT

We propose a novel method for continuous-time feature tracking in event cameras. To this end, we track features by aligning events along an estimated trajectory in space-time such that the projection on the image plane results in maximally sharp event patch images. The trajectory is parameterized by $n^{th}$ order B-splines, which are continuous up to $(n-2)^{th}$ derivative. In contrast to previous work, we optimize the curve parameters in a sliding window fashion. On a public dataset we experimentally confirm that the proposed sliding-window B-spline optimization leads to longer and more accurate feature tracks than in previous work.

研究の動機と目的

• 短い時間間隔における一定のオプティカルフローを仮定する従来のイベントベース追跡手法の限界に対処する。これにより、分断的線形軌道が生じ、精度が低下する。
• 空間時間内に連続的なBスプライン曲線として特徴の運動をモデル化することで、特徴追跡の耐久性と精度を向上させる。
• Bスプラインの局所的サポート特性とスライディングウインドウ技術を活用し、長時間の特徴追跡を効率的に最適化する。
• 高イベントレートに依存するのを減らすために、イベント密度に応じて最適化対象の制御点数（knot数）を動的に調整する。
• イベントベースSLAMおよび動画解析のための堅牢な連続時間基盤を提供する。

提案手法

• 特徴を空間時間内に連続的な$n^{\text{th}}$次Bスプライン軌道に沿ってイベントをアライメントすることで追跡し、$(n-2)^{\text{th}}$階微分まで連続性を保証する。
• SE2ワープを用いてイベントを共通の基準時刻に投影し、得られるイベントパッチ画像のシャープネスを最大化する。
• スライディングウインドウ内でBスプライン制御点とknot位置を最適化し、ウインドウサイズをイベント密度に応じて適応的に変更する。
• 過去の情報を保持し、低イベント期間における追跡安定性を向上させるために履歴パッチを適用する。
• 最適化における最近のイベントの優先度を高めるために、減衰重み関数（$\rho = 0.9$）を用いる。
• イベント数に応じて2点または3点の最適化戦略を採用：高密度時は2点、低密度時は3点にすることで、ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分断的線形または一定速度モデルと比較して、連続的Bスプライン軌道はイベントカメラにおける特徴追跡の精度と耐久性を向上させることができるか？
• RQ2 Bスプラインパラメータのスライディングウインドウ最適化は、スパarsなイベントストリームや変化する運動ダイナミクスに対してロバスト性を向上させるか？
• RQ3 Bスプラインの局所的サポート特性は、リアルタイム追跡における効率的かつスケーラブルな最適化をどのように可能にするか？
• RQ4 履歴パッチを組み込むことで、低イベントレート期間における追跡安定性はどの程度向上するか？
• RQ5 提案手法は、特徴の年齢と追跡誤差の観点から、最先端のイベントベース追跡アルゴリズムを上回ることができるか？

主な発見

• 提案手法（'ours*'）は、3ピクセルの誤差閾値を満たす平均相対的年齢が1.05を達成し、BoxesデータセットでZhuら（0.87）およびベースラインの'ours'（0.87）を上回った。
• Boxesデータセットにおいて、'ours*'は平均誤差を0.35（'ours'は0.37、Zhuらは0.25）に低下させるとともに、'ours'と比較して平均年齢を6%向上させた。
• すべてのデータセットにおいて、'ours*'は平均共通誤差0.35、'ours'は0.37を維持しており、同じ条件下でも一貫した性能を示した。
• 図2に示すように、'ours*'の特徴軌道は'ours'やZhuらと比較してより長く、時間経過に伴いより多くのアクティブな特徴が維持されている。
• 図4の定性的な結果から、'ours*'の3次元軌道は、特に挑戦的な運動シーケンスにおいて、従来手法と比較してより安定で長寿命であることが示された。
• イベント密度に応じてknot数を動的に変更するスライディングウインドウアプローチにより、低イベントレート期間におけるロバスト性が著しく向上し、スパースな条件下で3点最適化を用いることで平均特徴年齢が6%向上した。