[論文レビュー] SiamEvent: Event-based Object Tracking via Edge-aware Similarity Learning with Siamese Networks

Yujeong Chae, Lin Wang+1 more|arXiv (Cornell University)|Sep 28, 2021

Advanced Memory and Neural Computing参考文献 49被引用数 4

ひとこと要約

SiamEventは、エッジに敏感な類似度学習を活用したシアンプスネットワークベースのイベントベースオブジェクト追跡フレームワークを提案する。動的・静的シーン、特に高動的範囲（HDR）や運動ぼかしを含む状況でも、ターゲットを追跡可能である。2つの時刻における埋め込みイベント特徴を照合してエッジ類似度を計算することで、実世界および合成データセット上で最先端のベースライン比で最大15%の性能向上を達成した。

ABSTRACT

Event cameras are novel sensors that perceive the per-pixel intensity changes and output asynchronous event streams, showing lots of advantages over traditional cameras, such as high dynamic range (HDR) and no motion blur. It has been shown that events alone can be used for object tracking by motion compensation or prediction. However, existing methods assume that the target always moves and is the stand-alone object. Moreover, they fail to track the stopped non-independent moving objects on fixed scenes. In this paper, we propose a novel event-based object tracking framework, called SiamEvent, using Siamese networks via edge-aware similarity learning. Importantly, to find the part having the most similar edge structure of target, we propose to correlate the embedded events at two timestamps to compute the target edge similarity. The Siamese network enables tracking arbitrary target edge by finding the part with the highest similarity score. This extends the possibility of event-based object tracking applied not only for the independent stand-alone moving objects, but also for various settings of the camera and scenes. In addition, target edge initialization and edge detector are also proposed to prevent SiamEvent from the drifting problem. Lastly, we built an open dataset including various synthetic and real scenes to train and evaluate SiamEvent. Extensive experiments demonstrate that SiamEvent achieves up to 15% tracking performance enhancement than the baselines on the real-world scenes and more robust tracking performance in the challenging HDR and motion blur conditions.

研究の動機と目的

• 固定シーンにおいてターゲットが停止する、または独立して動かない場合に失敗する既存のイベントベース追跡手法の限界を解消すること。
• ターゲットエッジの初期化とエッジ検出器を導入することで、追跡のずれ（drift）を克服すること。
• 運動タイプにかかわらず、任意のターゲットエッジを、背景と併せて非独立運動を伴う場合でも頑健に追跡できることを実現すること。
• 学習および評価用に、合成および実世界のイベントシーケンスを含む包括的なオープンソースデータセットを構築すること。
• 疎なイベントストリームからのエッジ構造を活用することで、HDRおよび運動ぼかしのような困難な条件下での追跡性能を向上させること。

提案手法

• ESTなどのイベント表現手法を用いて、2つの時刻におけるイベントストリームを特徴テンソルに埋め込むことで、エッジ構造を保持する。
• 共有されたシアンプス畳み込みニューラルネットワークに、埋め込み済みのターゲットおよびサーチ用イベント特徴を入力し、深層特徴を抽出する。
• 共有特徴を相互相関によって照合し、ターゲットに最も類似する領域を示す類似度マップを計算する。
• エッジに敏感な類似度学習を用いて、一致するエッジ構造を持つ領域を優先することで、運動および照明変化に対して頑健性を向上させる。
• 追跡開始時にターゲットエッジの初期化を導入し、明確で明確なターゲットのエッジ表現を生成する。
• エッジ検出器を実装し、追跡中のエッジが特徴的で十分かどうかを分類することで、静的シーンにおけるずれを防止する。

実験結果

リサーチクエスチョン

• RQ1 シアンプスネットワークフレームワーク内でのエッジに敏感な類似度学習は、イベントベースオブジェクト追跡における追跡の頑健性を向上させ得るか？
• RQ2 先行手法が失敗する非独立運動を伴うオブジェクトおよび固定シーンにおいて、本手法の性能はいかがであるか？
• RQ3 疎なイベントからのエッジ構造情報は、高動的範囲および運動ぼかし条件下での追跡にどの程度向上効果をもたらすか？
• RQ4 ターゲットエッジ初期化およびエッジ検出は、追跡のずれ低減にどの程度の影響を及ぼすか？
• RQ5 SiamEventは、実世界および合成データにおいて、最先端の画像ベースおよびイベントベースの追跡手法と比較して、どの程度の性能を示すか？

主な発見

• SiamEventは、実世界のシーンにおいて、最先端の画像ベースおよびイベントベースの追跡手法を15%上回る性能を達成した。
• 合成イベントデータセットでは、SiamEventは成功スコア0.404、精度スコア0.454、成功率0.478を達成し、ベースラインを上回った。
• エッジに敏感な類似度学習機構により、カメラが動く静的シーン（例：'arrow'および'gs25'シーケンス）においてもターゲットの追跡が頑健に可能となった。
• ターゲットエッジ初期化により、成功スコアが0.015、精度スコアが0.020向上し、ずれ低減におけるその重要性が示された。
• エッジ検出器の導入により、静的シーンにおける性能低下が軽減され、合成データセットでは成功率が0.441（非導入時）から0.478（導入時）に向上した。
• SiamEventは、実イベント処理（埋め込みを含む）で25fps、事前に埋め込み済みのイベントでは120fpsで動作し、リアルタイム実行が可能であることが示された。