[論文レビュー] MediaPipe Hands: On-device Real-time Hand Tracking

Fan Zhang, Valentin Bazarevsky+5 more|arXiv (Cornell University)|Jun 18, 2020

Hand Gesture Recognition Systems参考文献 10被引用数 543

ひとこと要約

リアルタイムでデバイス上の2段階の手追跡パイプライン（掌検出器 + 手ランドマークモデル）を提案し、RGB入力から21の2.5D手ランドマークを予測し、モバイルGPU上で効率的に実行。MediaPipeを通じてクロスプラットフォーム展開のオープンソース化。

ABSTRACT

We present a real-time on-device hand tracking pipeline that predicts hand skeleton from single RGB camera for AR/VR applications. The pipeline consists of two models: 1) a palm detector, 2) a hand landmark model. It's implemented via MediaPipe, a framework for building cross-platform ML solutions. The proposed model and pipeline architecture demonstrates real-time inference speed on mobile GPUs and high prediction quality. MediaPipe Hands is open sourced at https://mediapipe.dev.

研究の動機と目的

• commodity devicesの自然なインタラクションを実現することによりAR/VRアプリケーションを推進する。
• RGB入力から掌を検出し、21の2.5D手ランドマークを予測する2段階パイプラインを開発する。
• 高品質な予測とクロスプラットフォーム対応を実現したモバイルGPU上でのリアルタイム推論を達成する。

提案手法

• 2段階パイプライン：BlazePalmに似た掌検出器が各手の境界ボックスを提供し、続いて切り抜いた掌領域内で21の2.5Dランドマークを回帰する手のランドマークモデル。
• 大規模スケール変動に対処するため、正方形の境界ボックス、エンコーダ-デコーダ機能、および focal loss を用いたモバイル実時検出向けに設計された掌検出器。
• 手ランドマークモデルの出力：21個のランドマーク（x, y, 相対深度）、手の存在フラグ、そして左右判定（左/右）。
• 追跡は前フレームのランドマークを用いて現在のフレームをクロップし、手が検出されなくなるか整列信頼度が低い場合にのみ検出器を作動させる。
• 補助的な“hand presence”スコアは、追跡の失敗から回復するために必要に応じて検出器を再初期化するのに役立つ。
• MediaPipe内で、GPUアクセラレーションとTensorFlow Liteバックエンドを備えたモジュラーCalculatorsのグラフとして実装。

実験結果

リサーチクエスチョン

• RQ1 RGB入力から21の2.5D手ランドマークをモバイルデバイス上でリアルタイムに正確に推定できる、2段階のオンデバイスパイプラインは実現可能か？
• RQ2 前フレームのランドマークを利用してクロップすることが、検出器の頻度と全体のスループットにどのような影響を与えるか？
• RQ3 トレーニングデータの構成（実データ、合成データ、組み合わせ）がランドマーク精度と時系列安定性に与える影響はどのようか？
• RQ4 異なるデバイス（Android、iOS、デスクトップ）およびハードウェアバックエンドでシステムはどのように動作するか？

主な発見

モデル	パラメータ数 (M)	MSE	時間(ms) Pixel 3	時間(ms) Samsung S20	時間(ms) iPhone11
Light	1	11.83	6.6	5.6	1.1
Full	1.98	10.05	16.1	11.1	5.3
Heavy	4.02	9.817	36.9	25.8	7.5

• 実世界データと合成データを組み合わせて学習させた場合、手ランドマークモデルは精度が高くなる（組み合わせのMSE 13.4%対実世界のみの16.1%）。
• Pixel 3、Samsung S20、iPhone 11で、軽量の“Light”、”Full”、”Heavy”モデルバリアントでリアルタイムのデバイス上推論を実証。
• “Full”モデルはPixel 3で10.05 MSE、16.1 ms、iPhone11で11.1 ms、Samsung S20で5.3 msを達成し、品質と速度のバランスを取る。
• 掌検出器の設計選択（正方形ボックス、エンコーダ-デコーダ機能抽出、focal loss）とアブレーション研究は、遮蔽やスケール変動下で検出の頑健性を向上させる。
• On-device inference uses TensorFlow Lite GPU backend, enabling real-time performance across platforms.
• このパイプラインは21ランドマーク、手の存在確率、および handedness を出力し、下流のAR/ジェスチャーアプリケーションを可能にする。