[論文レビュー] Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning

Linfeng Xu, Qingbo Wu+7 more|arXiv (Cornell University)|Jan 26, 2023

Human Pose and Action Recognition参考文献 60被引用数 4

ひとこと要約

本稿では、10名の参加者が32の日常的活動を実行する際のRGB動画、加速度計、ジャイロスコープデータを統合した、新しいマルチモーダルエゴセントリック活動データセット UESTC-MMEA-CL を紹介する。このデータセットは、エゴセントリック活動認識における継続的学習研究を可能にし、例示ベースの手法（例：iCaRL）が深刻な記憶の消失（catastrophic forgetting）を顕著に軽減することを示している。RGB+Acc+Gyroの融合により平均正答率77.8%を達成した一方、例示なしではセンサーモダリティのみでは顕著な性能低下を示した。

ABSTRACT

With the rapid development of wearable cameras, a massive collection of egocentric video for first-person visual perception becomes available. Using egocentric videos to predict first-person activity faces many challenges, including limited field of view, occlusions, and unstable motions. Observing that sensor data from wearable devices facilitates human activity recognition, multi-modal activity recognition is attracting increasing attention. However, the deficiency of related dataset hinders the development of multi-modal deep learning for egocentric activity recognition. Nowadays, deep learning in real world has led to a focus on continual learning that often suffers from catastrophic forgetting. But the catastrophic forgetting problem for egocentric activity recognition, especially in the context of multiple modalities, remains unexplored due to unavailability of dataset. In order to assist this research, we present a multi-modal egocentric activity dataset for continual learning named UESTC-MMEA-CL, which is collected by self-developed glasses integrating a first-person camera and wearable sensors. It contains synchronized data of videos, accelerometers, and gyroscopes, for 32 types of daily activities, performed by 10 participants. Its class types and scale are compared with other publicly available datasets. The statistical analysis of the sensor data is given to show the auxiliary effects for different behaviors. And results of egocentric activity recognition are reported when using separately, and jointly, three modalities: RGB, acceleration, and gyroscope, on a base network architecture. To explore the catastrophic forgetting in continual learning tasks, four baseline methods are extensively evaluated with different multi-modal combinations. We hope the UESTC-MMEA-CL can promote future studies on continual learning for first-person activity recognition in wearable applications.

研究の動機と目的

• エゴセントリック活動認識の分野において、特にウェアラブルセンサーデータと第一人称動画を統合したマルチモーダルで継続的学習に適したデータセットが不足しているという問題に対処すること。
• 視覚とインertシャルセンサーデータを統合するマルチモーダルディープラーニングにおける記憶の消失（catastrophic forgetting）の発現様式を調査すること。
• 順次的タスク学習下で、iCaRL、EWC、LwF などの継続的学習戦略がマルチモーダルエゴセントリック活動認識に与える効果を評価すること。
• ウェアラブルアプリケーションを想定した継続的かつマルチモーダルな第一人称活動認識分野の研究を促進するため、ベンチマークデータセットとベースラインモデルを提供すること。

提案手法

• 著者らは、第一人称カメラとインertial measurement units (IMUs) を統合した独自のウェアラブルグラスシステムを開発し、RGB動画、加速度、ジャイロスコープデータを同期して収集した。
• データセット UESTC-MMEA-CL は、10名の参加者が実行した32の日常的活動クラスを含み、各モダリティ間で完全な時間的・空間的同期がとられている。
• RGB、加速度、ジャイロスコープモダリティからの特徴を統合するため、共通のディープニューラルネットワーク内で特徴を統合する中間融合（TBW型）アーキテクチャを採用した。
• 順次的タスク学習において、微調整、iCaRL（例示ベース）、EWC（パrameter正則化）、LwF（知識蒸留）という4つの継続的学習戦略を評価した。
• インertシャル信号が活動パターンの区別に果たす補助的役割を検証するため、センサーデータの統計的分析を実施した。
• 平均正答率（A）と忘却率（F）を指標として、単モダリティおよびマルチモーダルな組み合わせを用いた実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 順次的タスク学習において、マルチモーダルエゴセントリック活動認識の文脈で記憶の消失（catastrophic forgetting）はどのように現れるか？
• RQ2 特に例示ベース vs 例示なしの戦略を比較した場合、RGB、加速度計、ジャイロスコープモダリティにおける忘却の軽減効果はどの程度か？
• RQ3 RGB + Acc + Gyro のマルチモーダル統合は、単一モダリティ学習と比較して、忘却の低減にどの程度有効か？
• RQ4 なぜ加速度計およびジャイロスコープのみのネットワークは、RGBネットワークと比較して継続的学習において顕著に高い忘却率と低い正答率を示すのか？
• RQ5 提案された UESTC-MMEA-CL データセットは、今後の継続的かつマルチモーダルなエゴセントリック活動認識研究の信頼できるベンチマークとして機能できるか？

主な発見

• iCaRL手法は、RGB+Acc+Gyro マルチモーダル統合で最高の平均正答率77.8%を達成し、相対的に低い忘却率33.5%を示した。
• 例示ベースの iCaRL は、例示なしの EWC や LwF と比較して、特にマルチモーダル環境下で忘却の軽減において顕著に優れた性能を示した。
• センサーモダリティのみ（加速度計およびジャイロスコープ）のネットワークは、継続的学習を適用しても平均正答率が20%未満にとどまり、忘却率は60%を超えた。
• RGB+Gyro 組み合わせは、iCaRL を用いて77.4%の平均正答率を達成し、単体のRGBネットワーク（70.4%）を上回り、強い相乗効果を示した。
• 微調整（fine-tune）は、RGB+Acc+Gyro 組み合わせで99.0%の忘却率を示し、正則化なしでは記憶の消失が極めて深刻であることを示した。
• センサーデータの統計的分析により、インエラシャル信号が異なる活動クラスに対して特徴的で有用なパターンを提供することが確認され、視覚データとの統合の有効性が裏付けられた。