[論文レビュー] ASAP: Adaptive Scheme for Asynchronous Processing of Event-based Vision Algorithms

Raúl Tapia, Augusto Gómez Eguíluz+2 more|arXiv (Cornell University)|Sep 18, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

ASAPは、非同期イベントベースのビジョンアルゴリズムにおける応答性とオーバーフローのバランスを取るために、動的にパッケージサイズを調整し、不要なイベントをランダムにフィルタリングする適応的イベントパッケージング方式を提案する。処理時間とイベントパッケージのタイミングを同期させ、必要に応じて不要なイベントをフィルタリングすることで、UAVのようなリソース制限のあるプラットフォームでもリアルタイムで応答性のある処理を実現する。

ABSTRACT

Event cameras can capture pixel-level illumination changes with very high temporal resolution and dynamic range. They have received increasing research interest due to their robustness to lighting conditions and motion blur. Two main approaches exist in the literature to feed the event-based processing algorithms: packaging the triggered events in event packages and sending them one-by-one as single events. These approaches suffer limitations from either processing overflow or lack of responsivity. Processing overflow is caused by high event generation rates when the algorithm cannot process all the events in real-time. Conversely, lack of responsivity happens in cases of low event generation rates when the event packages are sent at too low frequencies. This paper presents ASAP, an adaptive scheme to manage the event stream through variable-size packages that accommodate to the event package processing times. The experimental results show that ASAP is capable of feeding an asynchronous event-by-event clustering algorithm in a responsive and efficient manner and at the same time prevents overflow.

研究の動機と目的

• リソース制限のあるプラットフォームで実行されるイベントベースのビジョンアルゴリズムにおける、応答性とシステムのオーバーフローのトレードオフを解消すること。
• 固定サイズのイベントパッケージ（オーバーフローのリスク）および1イベント処理（計算オーバーフローのリスク）の限界を克服すること。
• 低消費電力のUAVにおいて、中程度の計算リソースを備えた環境で、イベントストリームのリアルタイムで非同期的な処理を可能にすること。
• アルゴリズムが次のパッケージが到着する前に各イベントパッケージを処理することを保証し、リアルタイム性能を維持すること。
• ターゲットハードウェアの処理能力に合わせて、イベントストリームレートを動的に管理すること。

提案手法

• 直前のパッケージの処理時間に基づいて、イベントパッケージサイズを調整するクローズド・ループフィードバック機構を用いる。
• アルゴリズム処理に要する時間を、パッケージ内のイベントの時間的スパンと一致させるために、イベントパッケージのサイズを動的に適応させる。
• 処理負荷がリアルタイム処理能力を超えた場合に、イベントレートを低下させるためにランダムなイベント破棄手順（γフィルタ）を実装する。
• アルゴリズムがリアルタイムで処理できる範囲に有効なイベントレートRを維持するために、フィルタリングレートγを動的に調整する。
• イベントレートがシステムの処理能力を超えた際にフィルタリングを開始する上限閾値a = 5×10⁶イベント/秒を設定する。
• UAL抽象化レイヤー、ROS Kinetic、およびPX4を用いて、C++フレームワークにこの方式を統合する。

実験結果

リサーチクエスチョン

• RQ1 低消費電力のロボティクスプラットフォームで、リアルタイムに応答性がありオーバーフローのないイベントストリーム処理はどのように実現できるか？
• RQ2 処理時間と一致させるために、イベントパッケージサイズを動的にバランスさせる適応的メカニズムは何か？
• RQ3 高負荷時におけるランダムなイベントフィルタリングは、計算負荷を軽減しながらアルゴリズムのパフォーマンスを維持するためにどの程度効果的か？
• RQ4 急激に変化するイベントレートを示す高動的運動条件下でも、提案された方式はリアルタイム処理を維持できるか？
• RQ5 変動するシーンの複雑さを伴う実世界のUAVシナリオにおいて、適応的パッケージング方式はどの程度の性能を示すか？

主な発見

• ASAPは、パッケージ内の最も古いイベントと最新のイベントの時間差を負に保つことで、リアルタイム処理を成功裏に維持した。これにより、各パッケージが次の到着前に処理されることが保証された。
• 急激な運動実験では、イベントレートが5×10⁶イベント/秒を超えた際に、γを1からより低い値へ動的に調整し、オーバーフローを防止した。
• UAV搭載実験では、イベントレートが常に閾値a = 5×10⁶を超えることはなく、飛行中を通してフィルタリングなし（γ = 1）で全イベントストリームを処理できた。
• 適応的パッケージサイズメカニズムにより、処理時間とイベントパッケージのタイミングが同期され、レイテンシが最小限に抑えられ、応答性が確保された。
• 複数の椅子の上空を飛行するような動的環境でも、イベントレートが上昇したが、処理制限内に収まり、システムの頑健性が確認された。
• 高レート時におけるランダムなイベントフィルタリングは、計算負荷を顕著に軽減するとともに、アルゴリズムのパフォーマンスを維持した。これは先行研究[11]でも検証済みである。