[論文レビュー] Long-Lived Accurate Keypoints in Event Streams

Philippe Chiberre, Etienne Pérot+2 more|arXiv (Cornell University)|Sep 21, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文では、合成ビデオシーケンスからのねじれキーポイントラベルを用いてトレーニングし、時間的に進んだヒートマップの系列を予測することで、イベントストリームにおける長期間にわたる高精度なキーポイント検出とトラッキングを実現する再帰的ディープラーニング手法を提案する。この手法は、ベンチマークデータセットにおいて、先行する最先端手法と比較して、トラックの長さが3倍にのび、ほぼ2倍の精度を達成した。

ABSTRACT

We present a novel end-to-end approach to keypoint detection and tracking in an event stream that provides better precision and much longer keypoint tracks than previous methods. This is made possible by two contributions working together. First, we propose a simple procedure to generate stable keypoint labels, which we use to train a recurrent architecture. This training data results in detections that are very consistent over time. Moreover, we observe that previous methods for keypoint detection work on a representation (such as the time surface) that integrates events over a period of time. Since this integration is required, we claim it is better to predict the keypoints' trajectories for the time period rather than single locations, as done in previous approaches. We predict these trajectories in the form of a series of heatmaps for the integration time period. This improves the keypoint localization. Our architecture can also be kept very simple, which results in very fast inference times. We demonstrate our approach on the HVGA ATIS Corner dataset as well as "The Event-Camera Dataset and Simulator" dataset, and show it results in keypoint tracks that are three times longer and nearly twice as accurate as the best previous state-of-the-art methods. We believe our approach can be generalized to other event-based camera problems, and we release our source code to encourage other authors to explore it.

研究の動機と目的

• イベントカメラからのノイズが多く非同期なイベントストリームにおいて、安定的で長期間にわたるキーポイントを検出する課題に対処すること。
• 時間経過に伴う軌道を予測することで、静的で1つの位置にとどまらないキーポイントの局所化精度を向上させること。
• 一貫した検出を介して、単純な最近傍探索によるマッチング戦略によって、頑健で長期的なトラッキングを可能にすること。
• 軽量な再帰的アーキテクチャを用いることで、計算負荷を低減しつつ高いパフォーマンスを維持すること。
• 平面のホモグラフィーでトレーニングされたにもかかわらず、3次元シーンへの一般化を可能にすること。

提案手法

• 合成トレーニングデータは、COCOデータセットの画像をホモグラフィーでねじり、動きをシミュレートした後、イベントストリームに変換することで生成される。
• キーポイントラベルは元の画像におけるハリスコーナー検出に基づき、それに合わせてねじられ、時間的整合性が保たれる。
• 軽量な再帰的ニューラルネットワークが、イベント統合ウィンドウ内の連続した時間ステップに対応するヒートマップの系列を予測する。
• これらのヒートマップの局所的最大値が、時間的に整合性のある正確なキーポイント位置を示し、局所化精度が向上する。
• キーポイントトラックは、フレーム間の検出結果を単純な最近傍探索でマッチングすることで形成され、長期間のトラック寿命が実現される。
• アーキテクチャは計算効率が良く（26Kパラメータ未満）、GTX 1080で7msで実行可能で、リアルタイム応用に適している。

実験結果

リサーチクエスチョン

• RQ1 合成ビデオシーケンスからのねじれキーポイントラベルでトレーニングすることで、イベントベースキーポイント検出における時間的整合性が向上するか？
• RQ2 1つの位置ではなく、時間経過に伴う複数の連続するキーポイント位置を予測することで、より正確で安定した検出が達成されるか？
• RQ3 単純で軽量な再帰的アーキテクチャが、イベントベースキーポイント検出において優れたトラック寿命と局所化精度を達成できるか？
• RQ4 平面のシーンでトレーニングされたモデルが、実世界のイベントベースデータセットにおける3次元シーンにどれほど一般化できるか？
• RQ5 マルチステップヒートマップ予測は、低遅延を維持しつつ、再投影誤差をどれほど低減できるか？

主な発見

• HVGA ATIS Cornerデータセットにおいて、$δ t$-ホモグラフィー再投影誤差が$δ t = 200$ msで1.84ピクセルにまで低下し、前回の最良手法のほぼ半分にまで改善された。
• トラック寿命メトリックは15.7秒に達し、最高の先行手法（Arc、0.91秒）の3倍以上にのびた。
• Event-Camera Datasetにおいて、相対的精度が1.03、相対的再現率が2.17を達成し、luvHarrisを含むすべての先行手法を上回った。
• ネットワークはGTX 1080 GPUで26Kパラメータ未満で7msで実行可能で、高イベントレート下でもリアルタイム動作が可能である。
• 可視化結果では、eHarris、eFast、Arc、luvHarrisと比較して、はるかに長く滑らかで連続的なトラックが得られた。
• 訓練時に平面変換のみを用いても、異なるセンサーデータセットにおいても良好な性能を示し、3次元シーンへの一般化が良好であることが実証された。