[論文レビュー] Event-based Vision for Early Prediction of Manipulation Actions

Daniel Deniz, Cornelia Fermüller+3 more|arXiv (Cornell University)|Jul 26, 2023

Advanced Memory and Neural ComputingEngineering被引用数 3

ひとこと要約

本論文は、非同期神経生物学的センサデータからリアルタイムに操作行動を予測するため、トランスフォーマー構造を用いたイベントベースのビジョンシステムを提案する。イベントに内在する空間時間的ダイナミクスを活用することで、動画ベースのモデルと比較して予測遅延を2–3秒短縮し、細分化された行動認識において平均7.6%の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

Neuromorphic visual sensors are artificial retinas that output sequences of asynchronous events when brightness changes occur in the scene. These sensors offer many advantages including very high temporal resolution, no motion blur and smart data compression ideal for real-time processing. In this study, we introduce an event-based dataset on fine-grained manipulation actions and perform an experimental study on the use of transformers for action prediction with events. There is enormous interest in the fields of cognitive robotics and human-robot interaction on understanding and predicting human actions as early as possible. Early prediction allows anticipating complex stages for planning, enabling effective and real-time interaction. Our Transformer network uses events to predict manipulation actions as they occur, using online inference. The model succeeds at predicting actions early on, building up confidence over time and achieving state-of-the-art classification. Moreover, the attention-based transformer architecture allows us to study the role of the spatio-temporal patterns selected by the model. Our experiments show that the Transformer network captures action dynamic features outperforming video-based approaches and succeeding with scenarios where the differences between actions lie in very subtle cues. Finally, we release the new event dataset, which is the first in the literature for manipulation action recognition. Code will be available at https://github.com/DaniDeniz/EventVisionTransformer.

研究の動機と目的

• リアルタイムな人間-ロボットインタラクションを実現するため、イベントベースのビジョンを用いて人間の操作行動を早期かつ継続的に予測すること。
• ロボット分野における低遅延行動認識の課題に取り組み、遅延が効果的な計画や協働を妨げるのを防ぐこと。
• 特に動きのパターンでの差異のみで区別されるような、手-オブジェクト相互作用における微細なダイナミックな手がかりを捉えるモデルを開発すること。
• 細分化された操作行動認識のための最初の公開可能なイベントベースのデータセットを提供すること。
• 行動分類において、動きのダイナミクスを捉える点で、イベントベース処理が動画ベースのアプローチを上回ることを実証すること。

提案手法

• 本手法は、非同期イベントストリームから生成された時間表面を処理するビジョントランスフォーマー（ViT）アーキテクチャを採用し、オンラインで段階的な推論を可能にしている。
• イベントは固定時間間隔（例：33 ms）ごとに時間表面に集約され、その後、トランスフォーマーに供給され、空間時間的特徴の学習が行われる。
• モデルはオンライン予測を実行し、新たなイベントごとに信頼度スコアを更新することで、行動の完了前に早期に分類を可能にする。
• トランスフォーマー内の自己注意機構は、手の運動軌跡やオブジェクトとの接触フェーズといった顕著な空間時間的パターンを特定する。
• アブレーションスタディでは、同じ行動データセット上で学習した動画ベースのトランスフォーマーと比較し、同一のハードウェアと計算負荷を想定している。
• 注目マップと信頼度の変化を分析することで、モデルの意思決定を解釈し、繰り返し運動や初期の手のポーズといった動的特徴にネットワークがどのように注目しているかを評価している。

Figure 1: Example of online prediction of a manipulation action (“play with a stone”) using a Transformer architecture from a stream of asynchronous events. Event-wise processing provides a prediction with every new event. Top: action frames and continuous stream of events from the neuromorphic sens

実験結果

リサーチクエスチョン

• RQ1 イベントベースのビジョンにトランスフォーマー構造を適用することで、動画ベースの手法と比較して、より早期かつ正確に操作行動を予測できるか？
• RQ2 トランスフォーマーの注目機構は、行動予測に関連する空間時間的パターンをどのように特定・優先しているか？
• RQ3 同じオブジェクトに対する微細な動きの違いを認識する点で、イベントベースのセンサはフレームベースのカメラをどの程度上回るか？
• RQ4 バッチ処理された動画セグメントと比較して、オンラインでイベント駆動の推論がどの程度遅延を短縮できるか？
• RQ5 周期的行動と離散的行動の両方において、モデルの性能はどのように変化するか。また、それぞれの行動タイプに対してどのような注目パターンが現れるか？

主な発見

• イベントベースのトランスフォーマーは、動画ベースのトランスフォーマーと比較して平均7.6%の精度向上を達成し、細分化された操作行動認識において優れた性能を示した。
• モデルは、手-オブジェクト接触後約0.7秒で正しく分類される行動ラベルの信頼度を80%に達したが、これは動画ベースのモデルと比較して著しく早期であった。
• オンライン推論により、従来の分類手法と比較して予測遅延を2–3秒短縮し、リアルタイムの知覚-行動ループを可能にした。
• 注目マップの分析から、モデルは静的なオブジェクトの外観ではなく、周期的行動（例：振る、突く）の開始・終了といった動きのダイナミクスに注目していることが明らかになった。
• 離散的行動では、初期の手のポーズや操作中の軌道に注目が集まっていた。これは、モデルが動的運動の手がかりに非常に感受性を示していることを示している。
• 計算コストは同程度であったが、イベントベースのモデルは1秒間に最大4,750個の時間表面を処理でき、実時間よりも高速に動作し、予測遅延も低かった。

Figure 2: Pipeline of the proposed Mobilenet-based Transformer architecture for online inference. The event camera triggers asynchronous events which are accumulated into a Time Surface with exponential decay [ 36 ] , in this example with a constant $\tau=33ms$ . A Mobilenet architecture extracts sp