[論文レビュー] BlazePose: On-device Real-time Body Pose tracking

Valentin Bazarevsky, Ivan Grishchenko+4 more|arXiv (Cornell University)|Jun 17, 2020

Human Pose and Action Recognition参考文献 7被引用数 86

ひとこと要約

BlazePose は軽量な on-device 姿勢推定器を提供し、単一人物の 33 キーポイントを出力、Pixel 2 で 30FPS 超、検出器-トラッカーのパイプラインとヒートマップ支援回帰アーキテクチャを使用。

ABSTRACT

We present BlazePose, a lightweight convolutional neural network architecture for human pose estimation that is tailored for real-time inference on mobile devices. During inference, the network produces 33 body keypoints for a single person and runs at over 30 frames per second on a Pixel 2 phone. This makes it particularly suited to real-time use cases like fitness tracking and sign language recognition. Our main contributions include a novel body pose tracking solution and a lightweight body pose estimation neural network that uses both heatmaps and regression to keypoint coordinates.

研究の動機と目的

• モバイル機器上で高フレームレートでリアルタイムの2D単一人物の姿勢推定を実現する。
• フィットネストラッキングや手話認識などの用途で、姿勢精度を維持しつつモデルサイズと計算量を低減。
• ヒートマップ監督と軽量回帰エンコーダを統合し、推論時にヒートマップ分岐を除去可能にする。
• 高速なデバイス上の顔/胴体ベース検出器を利用して姿勢整列を初期化・誘導する。
• 遮蔽と姿勢のばらつきを増強と各点の可視性機構で処理する。

提案手法

• 軽量検出器が姿勢領域を初期化し、トラッカーネットワークが各フレームでキーポイント座標と存在を予測する検出器-トラッカーパイプラインを提案する。
• 単一人物シナリオで人物局在の代理として高速なデバイス上の顔検出器を活用することでユーザー中心の整列戦略を採用。
• BlazeFace、BlazePalm、COCO に由来する33点のジョイントトポロジを採用して関連モデルと整合性を保つ。
• ヒートマップ・オフセット・回帰を組み合わせたネットワークを訓練し、ヒートマップが軽量埋め込みを監督するが推論は座標回帰のみを使用。
• 推論時にヒートマップ出力を破棄してリアルタイム性能を達成し、回帰エンコーダの勾配はヒートマップ特徴には逆伝播しないようにして座標精度を向上。
• 姿勢 priors と遮蔽シミュレーションを用いたデータ拡張と、遮蔽された関節に対処する各点可視性分類器を含める。

実験結果

リサーチクエスチョン

• RQ1 豊富な33点トポロジを備えた軽量なデバイス内モデルはリアルタイムの単一人物姿勢推定を実現できるか。
• RQ2 推論時にヒートマップヘッドを削除しても精度を損なうことなく計算量を著しく削減できるか。
• RQ3 高速な顔検出器で初期化された検出器-トラッカーパイプラインはモバイル機器での単一人物姿勢追跡に堅牢な整列を提供できるか。
• RQ4 遮蔽と姿勢のばらつきがデバイス内姿勢推定に与える影響と、拡張と可視性モデリングがこれを緩和できるか。
• RQ5 BlazePose は mobile ハードウェアと代表的なデータセットで OpenPose と比較して精度と速度の点でどうか。

主な発見

• BlazePose はミドルレンジのモバイル CPU（Pixel 2）でリアルタイム推論（30FPS 超）を達成する。
• モデルは単一の人物に対して 33 の体のキーポイントを出力し、訓練時にはヒートマップと回帰の組み合わせを使用、推論時には速度のためにヒートマップ分岐を破棄。
• 高速なデバイス上の顔検出器に導かれた検出器-トラッカーパイプラインは効率的な単一人物姿勢追跡を生む。
• OpenPose と比較して BlazePose は精度が競争力があり、特にヨガ/フィットネス姿勢でデバイス内速度が著しく高い。
• 2つのモデル variants を評価: BlazePose Full（高容量）と BlazePose Lite（よりコンパクト）、BlazePose Full はフィットネス関連姿勢でベースライン OpenPose を上回り、両方の BlazePose バージョンはモバイル機器上で大幅な速度優位を提供。