[論文レビュー] Can WiFi Estimate Person Pose?

Fei Wang, Stanislav Panev+3 more|arXiv (Cornell University)|Mar 30, 2019

Indoor and Outdoor Localization Technologies参考文献 30被引用数 34

ひとこと要約

本論文は、WiFi CSIデータを用いた単一人物のポーズ推定を、WiSPPNというCNNベースの専用モデルで実現し、大規模データセット上でカメラベース手法と同等のポーズ推定を達成した。

ABSTRACT

WiFi human sensing has achieved great progress in indoor localization, activity classification, etc. Retracing the development of these work, we have a natural question: can WiFi devices work like cameras for vision applications? In this paper We try to answer this question by exploring the ability of WiFi on estimating single person pose. We use a 3-antenna WiFi sender and a 3-antenna receiver to generate WiFi data. Meanwhile, we use a synchronized camera to capture person videos for corresponding keypoint annotations. We further propose a fully convolutional network (FCN), termed WiSPPN, to estimate single person pose from the collected data and annotations. Evaluation on over 80k images (16 sites and 8 persons) replies aforesaid question with a positive answer. Codes have been made publicly available at https://github.com/geekfeiw/WiSPPN.

研究の動機と目的

• WiFiを用いて細かなポーズ推定が可能かを動機づけ、検証する。
• WiFi CSIとカメラベースのポーズアノテーションを対となる同期データセットを作成する。
• WiSPPNを提案し、WiFi CSIをポーズ表現に写像する。
• ポーズ隣接行列エンベディングを導入してポーズ構造を正則化する。

提案手法

• 16サイト・8名の被験者にわたり、同期したWiFi CSIデータ（30キャリア、3×3アンテナ）とカメラ映像を収集する。
• カメラフレームからAlphaPoseでポーズをアノテーションし、Pose Adjacent Matrix (PAM)に変換する。
• WiSPPNを設計する。CSIをアップスケールするエンコーダー–特徴抽出器–デコーダー型ネットワークで、ResNet風ブロックで特徴を抽出し、3x18x18のPAMを予測する。
• AlphaPose由来のPAMを生徒モデルの監督として機能させる教師–学生設定でWiSPPNを訓練する。
• PAM類似性損失を用いて、予測PAMと真値PAMのx軸およびy軸のL2差を最小化し、信頼度でスケールを調整する。
• 複数閾値で18のキーポイントに対してPCK指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 WiFi CSIを単一の人物の正確な2Dキーポイント座標に写像できるか。
• RQ2 ポーズ隣接行列は、WiFiベースのポーズ推定において直接的なキーポイント回帰よりも一般化性能を高めるか。
• RQ3 同期カメラアノテーションを含む現実的なデータセットでのWiSPPNの性能はどうか。
• RQ4 PCK指標の観点で、WiFiベースのポーズ推定はカメラベース手法にどれだけ近づけるか。

主な発見

キーポイント	PCK@5	PCK@10	PCK@20	PCK@30	PCK@40	PCK@50
鼻	0.0222	0.1072	0.332	0.5386	0.6824	0.7634
首	0.0784	0.2222	0.5255	0.7007	0.8157	0.8797
右肩	0.0575	0.1922	0.502	0.7098	0.8261	0.8941
右肘	0.0536	0.1673	0.4235	0.6444	0.7752	0.8601
右手首	0.0353	0.081	0.2902	0.5085	0.6745	0.7869
左肩	0.0575	0.2026	0.4993	0.7111	0.8366	0.9059
左肘	0.0431	0.1373	0.4131	0.6275	0.7725	0.8732
左手首	0.0235	0.068	0.2601	0.4928	0.6405	0.7765
右腰	0.0471	0.1477	0.4497	0.6536	0.7869	0.8575
右膝	0.0418	0.1373	0.3869	0.583	0.7425	0.8484
右足首	0.017	0.0771	0.2627	0.4588	0.5987	0.7085
左腰	0.0458	0.1712	0.4523	0.6484	0.7791	0.8824
左膝	0.0353	0.1216	0.3856	0.617	0.7843	0.8693
左足首	0.0209	0.0627	0.2471	0.4497	0.6261	0.7268
右目	0.0431	0.1477	0.4301	0.6183	0.7516	0.817
左耳	0.0288	0.1542	0.3778	0.5712	0.6641	0.7346
右耳	0.0405	0.132	0.3791	0.6039	0.7085	0.7987
左耳	0.0353	0.1281	0.366	0.5111	0.6288	0.7085
平均	0.04	0.14	0.38	0.59	0.73	0.82

• WiSPPNはCSIデータから単一人物のポーズ推定を行い、18キーポイントに対して平均PCK@5からPCK@50まで0.04, 0.14, 0.38, 0.59, 0.73, 0.82の値を達成した。
• 18キーポイントすべてが高い閾値で非ゼロのPCKスコアを示し、首・肩・腰・肘が通常四肢より高い。
• 本システムはPAMを用いて座標と変位を埋め込み、正則化と骨格形状の妥当性を向上させる。
• 教師ネットワーク（AlphaPose）はPAMの監督を提供し、同期データ上でのモダリティ間学習を可能にする。
• 16サイト・8名の被験者からなる80k画像での評価は、WiFiがカメラベース手法と競合する結果を示している。