[論文レビュー] E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition

Chiara Plizzari, Mirco Planamente+5 more|arXiv (Cornell University)|Dec 7, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、エゴセントリック行動認識のための最初のイベントベースのデータセットN-EPIC-Kitchensを紹介するとともに、イベントデータを活用して耐障害性の高い行動認識を実現するモーション拡張イベントストリームフレームワークE²(GO)MOTIONを提案する。イベントデータを単独で使用するか、教師-生徒設定による光流の蒸留を用いることで、未知の環境においてRGB単独モデルよりも最大4%高い精度を達成し、推論時に光流計算を一切行わないリアルタイム環境でもPWC-Net光流を上回る性能を発揮する。

ABSTRACT

Event cameras are novel bio-inspired sensors, which asynchronously capture pixel-level intensity changes in the form of "events". Due to their sensing mechanism, event cameras have little to no motion blur, a very high temporal resolution and require significantly less power and memory than traditional frame-based cameras. These characteristics make them a perfect fit to several real-world applications such as egocentric action recognition on wearable devices, where fast camera motion and limited power challenge traditional vision sensors. However, the ever-growing field of event-based vision has, to date, overlooked the potential of event cameras in such applications. In this paper, we show that event data is a very valuable modality for egocentric action recognition. To do so, we introduce N-EPIC-Kitchens, the first event-based camera extension of the large-scale EPIC-Kitchens dataset. In this context, we propose two strategies: (i) directly processing event-camera data with traditional video-processing architectures (E$^2$(GO)) and (ii) using event-data to distill optical flow information (E$^2$(GO)MO). On our proposed benchmark, we show that event data provides a comparable performance to RGB and optical flow, yet without any additional flow computation at deploy time, and an improved performance of up to 4% with respect to RGB only information.

研究の動機と目的

• エゴセントリック行動認識におけるイベントベースのデータの不足、特に高速運動や環境変化といった困難な条件下での課題を解決すること。
• イベントデータがオンラインエゴセントリック行動認識において、光流の代替手段として耐障害性が高く低遅延であるかどうかを検証すること。
• イベントカメラの高時間分解能および運動感度を活用しながら、推論時に高コストな光流計算を回避する手法を開発すること。
• イベントベースのモデルの一般化性能を、観測済みおよび未観測の環境間で評価し、環境バイアスを低減すること。
• N-EPIC-Kitchensデータセットの公開を通じて、エゴセントリック環境におけるイベントベースビジョンのベンチマークを確立すること。

提案手法

• 著者らは、EPIC-KitchensデータセットのRGB動画からイベントストリームをシミュレートすることでN-EPIC-Kitchensを構築し、光流や音声を含むマルチモodalデータを保持した。
• E²(GO)は、2次元および3次元の行動認識ネットワーク（I3D、TSM）を、非同期イベントストリームを直接処理できるように、畳み込み層を変更することでイベントデータ処理に適応させる手法である。
• E²(GO)MOは、訓練時にTV-L1から得られる光流（教師信号）を用いて、生徒モデルをイベントデータ上で訓練する蒸留ベースの手法であり、推論時に光流推論を一切行わずに運動感知表現を実現する。
• イベントデータは時間的ビンニング戦略を用いてボクセルグリッドにエンコードされ、運動ダイナミクスを保持するとともに、標準動画モデルとの互換性を確保する。
• フレームワークは、教師-生徒の蒸留パイプラインを用い、生徒モデルが教師の光流感知表現を模倣するように学習する。この際、光流計算は訓練時のみで、推論時には非推奨となる。
• ドメインシフトに対する耐性を検証するため、観測済みおよび未観測の環境で評価を行い、モダリティ統合およびモデルアーキテクチャに関するアブレーションスタディも実施した。

実験結果

リサーチクエスチョン

• RQ1 イベントデータ単体で、RGBおよび光流と比較して競争力のある性能を達成できるか？
• RQ2 未知の環境において、イベントベース学習はRGBベースモデルよりも一般化性能に優れているか、環境バイアスが低減されるか？
• RQ3 訓練時に光流の知識をイベントデータに蒸留することで、推論時に光流計算を必要とせずに高い性能を達成できるか？
• RQ4 精度および推論速度の観点から、イベントベースモデルの性能は、エンドツーエンドの光流モデル（例：PWC-Net）と比較してどうなるか？
• RQ5 高速運動・ウェアラブルな状況下において、イベントデータおよび運動表現は外見ベースモデルをどれほど上回るか？

主な発見

• E²(GO)MOは、イベントデータと蒸留された光流知識のみを用いて、未観測環境で53.98%の精度を達成し、推論時に光流計算を一切行わないPWC-Net光流を最大6%上回る精度を発揮した。
• イベント単体モデル（E²(GO)）は、未観測環境で38.76%の精度を達成し、RGB単体I3D（35.65%）およびTSM（35.97%）モデルを上回り、ドメインシフトに対して高い耐性を示した。
• E²(GO)MOは、観測済みデータで57.87%の精度を達成し、1フレームあたり6msの推論時間であった。これに対してTV-L1光流は488msを要したため、リアルタイムアプリケーションに適している。
• イベントデータ単体でも、観測済みデータで55.54%の精度を達成し、一部の設定ではRGB単体I3D（58.49%）を上回った。これは、強い運動表現能力を示している。
• 高コストであるものの、TV-L1光流は観測済みデータで58.47%、未観測データで43.40%の最高精度を達成した。これは、光流計算におけるノイズ低減効果が性能向上に寄与していることを示唆している。
• 結果から、イベントデータは、特にオンラインおよびリソース制限のあるエゴセントリックシステムにおいて、実用的で低消費電力な光流の代替手段であることが示された。