[論文レビュー] Egocentric Hand Detection Via Dynamic Region Growing

Shao Huang, Weiqiang Wang+2 more|arXiv (Cornell University)|Nov 10, 2017

Hand Gesture Recognition Systems参考文献 32被引用数 3

ひとこと要約

本稿では、動きのパターンと4つのエゴセントリックなキュー（コントラスト、位置、位置の一貫性、外観の連続性）を活用して、自動的にシード領域を生成し、正確なハンドセグメントにまで拡大する動的領域成長法を提案する。この手法は、リアルタイム効率を備えた最先端の性能を達成しており、特に複雑で複数のハンドが存在する状況でも優れた性能を発揮する。

ABSTRACT

Egocentric videos, which mainly record the activities carried out by the users of the wearable cameras, have drawn much research attentions in recent years. Due to its lengthy content, a large number of ego-related applications have been developed to abstract the captured videos. As the users are accustomed to interacting with the target objects using their own hands while their hands usually appear within their visual fields during the interaction, an egocentric hand detection step is involved in tasks like gesture recognition, action recognition and social interaction understanding. In this work, we propose a dynamic region growing approach for hand region detection in egocentric videos, by jointly considering hand-related motion and egocentric cues. We first determine seed regions that most likely belong to the hand, by analyzing the motion patterns across successive frames. The hand regions can then be located by extending from the seed regions, according to the scores computed for the adjacent superpixels. These scores are derived from four egocentric cues: contrast, location, position consistency and appearance continuity. We discuss how to apply the proposed method in real-life scenarios, where multiple hands irregularly appear and disappear from the videos. Experimental results on public datasets show that the proposed method achieves superior performance compared with the state-of-the-art methods, especially in complicated scenarios.

研究の動機と目的

• 複数のハンドや動的な動きを伴う複雑な環境において、正確で効率的なエゴセントリック動画におけるハンド検出の課題に対処すること。
• 静的背景の仮定に依存する既存手法の限界や、複雑なシーンにおける高い計算コストの問題を克服すること。
• ハンドの数や動きに関する事前仮定なしに、変化するハンドの外観や位置に動的に適応できる手法を開発すること。
• リアルタイムでのリソース制約のあるデバイスへの実装を可能にするために、検出精度と計算効率のバランスを取ること。
• 遮蔽、ごみだらけの背景、不規則なハンドの外観といった困難な条件下での頑健性を向上させるために、複数のエゴセントリック特化キューを統合すること。

提案手法

• 連続するフレーム間での動きのパターン解析により、ホモグラフィー推定を用いてカメラの動きとハンドの動きを区別することで、ハンドに属する可能性の高いシード領域を特定する。
• 4つのエゴセントリックキュー（コントラスト、位置、位置の一貫性、外観の連続性）に基づき、スコアが最も高い隣接スーパーピクセルに反復的に拡大することで、シード領域から動的領域成長を開始する。
• 時間的整合性を確保し、誤検出を低減するために、現在および過去のフレームにおける空間的および外観的制約を用いて領域成長スコアを計算する。
• 外観モデルを動的に初期化・更新・失効することで、変化するハンドの外観に適応し、複雑なシーンにおける頑健性を向上させる。
• スコアが低いスーパーピクセルに対しては不要なキュー計算をスキップする早期拒否機構を適用し、実行時間の大幅な改善を実現する。
• セグメンテーション精度と計算負荷のバランスを取るために、スーパーピクセルを基本画像単位として用い、640×360解像度での効率的な処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 静的背景の仮定をせず、フレーム間の動きのパターン解析によって、エゴセントリック動画におけるカメラの動きとハンドの動きを信頼性高く区別できるか？
• RQ2 コントラスト、位置、位置の一貫性、外観の連続性といったエゴセントリック特化キューは、標準的な外観または動きベース手法と比較して、どのようにハンド領域成長の精度を向上させるか？
• RQ3 適応的外観モデリングを伴う動的領域成長は、複数のハンド、遮蔽、不規則な外観を示すハンドが存在する複雑なシーンにおいて、どの程度性能を向上させるか？
• RQ4 本手法は、特にリアルタイムおよびリソース制限のある環境において、検出精度と計算効率のバランスをどのように取っているか？
• RQ5 パラメータ設定（αおよびβ）の変化が、多様なエゴセントリック動画データセットにおける検出の頑健性と性能に与える影響は何か？

主な発見

• 提案手法は公開データセットにおいて優れた性能を発揮し、ADLデータセットではF1スコア0.375、GTEAデータセットでは0.371を達成し、特に複雑な状況下で最先端の手法を上回る。
• 標準PC（640×360解像度）上では約32fpsで実行され、リアルタイム性を実証しており、古いハードウェア（512MB RAM）では13fps、2GB RAM（320×240解像度）では38fpsで高い効率を維持している。
• パラメータ解析により、αおよびβの変動に対して頑健であることが示され、異なる組み合わせでも性能の変動はわずかに抑えられ、多様な設定下での安定性が確認された。
• 早期拒否ステップにより、計算時間は約23ms短縮されたが、精度への影響はわずかに1.3%の低下にとどまり、効率最適化の有効性が裏付けられた。
• アブレーションスタディにより、4つのエゴセントリックキュー（特に外観の連続性と位置の一貫性）が検出精度に顕著に寄与することが確認され、EgoHandsデータセットでは外観の連続性が最も大きな影響を与えた。
• モデル推薦（1秒）、混合モデル（100ms）、DP-DPM（2秒）、R-CNN（9秒）、その他の領域成長手法（40ms）と比較して、本手法は高い精度を維持しながら顕著な高速化を達成した。