[論文レビュー] Continual Learning of Hand Gestures for Human-Robot Interaction

Xavier Cucurull, Anaís Garrell|arXiv (Cornell University)|Apr 13, 2023

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本論文では、MediaPipe からの手のランドマークを用いた単一の RGB カメラを用いた静的ハンドジェスチャーの段階的認識のための継続的学習フレームワーク HAGIL を提案する。38 個のジェスチャーを学習した後、1 クラスあたり 5 個の例えしサンプルのみを用いて 90% を超える平均精度を達成し、フル再訓練に比べて段階的学習時間を 10% 未満に削減した。また、iCaRL などの効果的なリハーサル戦略により、深刻な忘却を軽減した。

ABSTRACT

In this paper, we present an efficient method to incrementally learn to classify static hand gestures. This method allows users to teach a robot to recognize new symbols in an incremental manner. Contrary to other works which use special sensors or external devices such as color or data gloves, our proposed approach makes use of a single RGB camera to perform static hand gesture recognition from 2D images. Furthermore, our system is able to incrementally learn up to 38 new symbols using only 5 samples for each old class, achieving a final average accuracy of over 90\%. In addition to that, the incremental training time can be reduced to a 10\% of the time required when using all data available.

研究の動機と目的

• ロボットが以前に学習したジェスチャーを忘れないように、静的ハンドジェスチャーを段階的に学習できるようにすること。
• 人間-ロボットインタラクションにおけるリアルタイムジェスチャー認識を実現するため、単一の RGB カメラのみを用いた低コストでセンサーフリーのソリューションを開発すること。
• 限られたクラスあたりのデータ量において、継続的学習戦略の有効性を実用的なロボティクスの文脈で評価すること。
• 継続的ジェスチャー学習のための新しいベンチマークデータセットとして、4 人の被験者が実行した 21 個のハンドジェスチャーを提供すること。
• 高い精度を維持しつつ、計算コストとメモリ使用量を最小限に抑える段階的学習シナリオを実現すること。

提案手法

• システムは、RGB イメージから 21 個のキーポイント座標を抽出するため、MediaPipe の軽量な手のランドマーク検出器を用いる。
• 手のランドマークは、ニューラルネットワーク分類器への入力として、固定長の特徴ベクトルに符号化される。
• iCaRL や IL2M を含むインクリメンタル学習戦略を統合する、修正された FACIL フレームワークが継続的学習を支援する。
• iCaRL 法は、最近傍エクジンプリ mean 分類器と、1 クラスあたり 5 個のエクジンプリのみを保持するメモリを備えた特徴リプレイ機構を用いる。
• 過去のクラスのエクジンプリを保持するリハーサルメモリを用いて、モデルを段階的に訓練することで、深刻な忘却を最小限に抑える。
• 新規クラスと古いクラスの小さなサブセットのエクジンプリでのファインチューニングにより、トレーニングを最適化し、トレーニング時間を顕著に短縮する。

Figure 1 : The proposed approach is used to teach a robot to incrementally recognize new hand gestures.

実験結果

リサーチクエスチョン

• RQ1 ロボットは、以前に学習したジェスチャーを忘れないように、RGB イメージから段階的に新しい静的ハンドジェスチャーを学習できるか？
• RQ2 1 クラスあたり 5 個のエクジンプリという小さなリハーサルメモリは、ハンドジェスチャーの継続的学習中に高い精度を維持するために効果的か？
• RQ3 低データおよび低計算リソース制約下で、iCaRL と IL2M のどちらのインクリメンタル学習戦略がより優れているか？
• RQ4 単一の RGB カメラからの手のランドマークを用いる手法は、他のセンサーベースの手法と比較して、精度と効率の面でどの程度優れているか？
• RQ5 提案されたシステムは、実世界のヒューマン-ロボットインタラクションのシナリオに適したリアルタイム性能を達成できるか？

主な発見

• HAGIL は、1 クラスあたり 5 個のエクジンプリのみを用いて 38 個の異なるハンドジェスチャーを学習した後、平均精度が 90% を超えた。
• 段階的トレーニング時間は、フル再訓練に比べて 10% 未満に削減され、HAGIL は 7.76 秒、Joint ベースラインは 79.73 秒でトレーニングされた。
• Kaggle ASL アルファベットデータセットにおいて、HAGIL は最初の 7 クラスを学習した後、高い精度に安定したが、Joint ベースラインの性能は時間経過とともに低下した。
• iCaRL 戦略は、特にその効率的な最近傍エクジンプリ mean 分類器のおかげで、低エクジンプリ環境下で IL2M を上回った。
• システムは 1 回の推論あたり 37.5ms の総遅延を達成し、約 26 FPS のリアルタイム動作を可能にし、実世界へのデプロイに適した性能を示した。
• 4 人の被験者が実行した 21 個のジェスチャーからなるデータセットは、ハンドジェスチャー認識における継続的学習のための新しいベンチマークを提供する。

Figure 2 : Overview of the proposed approach for hand gesture incremental learning. Given an input image (a), the proposed approach uses the MediPipe Hands pose detector (b) to extract the landmarks (c) of the hands present in the input. Next, the detected landmarks are encoded into a feature vector