[論文レビュー] Person-in-WiFi: Fine-grained Person Perception using WiFi

Fei Wang, Sanping Zhou+3 more|arXiv (Cornell University)|Mar 30, 2019

Indoor and Outdoor Localization Technologies参考文献 52被引用数 17

ひとこと要約

本稿では、1次元のセンサーとしての市販WiFiアンテナのみを用いて、細分化された人物認識—すなわちボディセグメンテーションとポーズ推定—を達成する最初のシステム、Person-in-WiFiを提示する。複数のWiFiトランシieverペアからの1次元チャネル状態情報（CSI）信号に深層学習を適用し、2次元画像のアノテーションで監視することで、カメラベース手法と同等の性能を達成した。1次元の電磁波信号が、多重パス伝播、身体の非均一性、生体運動による深刻な不適切性にもかかわらず、詳細な人体の空間的構造を再構築できることを示した。

ABSTRACT

Fine-grained person perception such as body segmentation and pose estimation has been achieved with many 2D and 3D sensors such as RGB/depth cameras, radars (e.g., RF-Pose) and LiDARs. These sensors capture 2D pixels or 3D point clouds of person bodies with high spatial resolution, such that the existing Convolutional Neural Networks can be directly applied for perception. In this paper, we take one step forward to show that fine-grained person perception is possible even with 1D sensors: WiFi antennas. To our knowledge, this is the first work to perceive persons with pervasive WiFi devices, which is cheaper and power efficient than radars and LiDARs, invariant to illumination, and has little privacy concern comparing to cameras. We used two sets of off-the-shelf WiFi antennas to acquire signals, i.e., one transmitter set and one receiver set. Each set contains three antennas lined-up as a regular household WiFi router. The WiFi signal generated by a transmitter antenna, penetrates through and reflects on human bodies, furniture and walls, and then superposes at a receiver antenna as a 1D signal sample (instead of 2D pixels or 3D point clouds). We developed a deep learning approach that uses annotations on 2D images, takes the received 1D WiFi signals as inputs, and performs body segmentation and pose estimation in an end-to-end manner. Experimental results on over 100000 frames under 16 indoor scenes demonstrate that Person-in-WiFi achieved person perception comparable to approaches using 2D images.

研究の動機と目的

• 市販のWiFiアンテナを用いて、カメラ、レーダー、LiDARと比較して安価で、より省電力かつプライバシーに配慮した方法で、細分化された人物認識（ボディセグメンテーションやポーズ推定など）を実現すること。
• 多重パス伝播、身体の非均一性、生体運動の影響により本質的に曖昧である1次元のWiFiチャネル状態情報（CSI）信号から、人体の2次元空間的詳細を再構築する挑戦に取り組むこと。
• 2次元RGB動画からのアノテーションを用いて、1次元のCSI信号を2次元人体マスクおよび関節座標にマッピングする深層学習フレームワークを開発し、エンドツーエンドの学習を可能にすること。
• 実空間の屋内環境におけるWiFiベースの認識の実現可能性と性能を評価し、訓練されていないシーンへの一般化能力を検証すること。
• 環境の変化に強い性能を向上させるために、データ拡張および敵対的訓練技術を活用し、未訓練の環境でも一般化性能を向上させること。

提案手法

• システムは、標準的なルーターと同様に配置された、3つの市販WiFiアンテナ（送信機1つ、受信機1つ）の2セットを用い、2.4 GHzを中心とする30の周波数で1次元のCSI信号を取得する。
• 各CSI信号は、人体、家具、壁からの反射波の重ね合わせであり、アンテナペアごとに1次元の時系列信号として形成される。
• 2次元画像アノテーション（OpenPoseおよびMask R-CNNから得たボディマスクと関節座標）を教師として用い、1次元のCSI信号を入力とする深層学習モデルをエンドツーエンドで訓練する。
• セグメンテーションにはU-Netベースのアーキテクチャを、キーポイント推定にはヒートマップ回帰ヘッドを採用し、両タスクを同時に最適化する。
• 環境の変化に強い性能を実現するため、生成ネットワークが環境不変のCSI表現を学習するGANベースの敵対的訓練戦略を導入する。
• システムは、16の屋内シーンで合計10万フレーム以上を対象に評価され、mIoUおよびmPCK指標を用いてカメラベースのベースラインと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 1次元のアンプリチュードデータから2次元空間的構造を再構築するという深刻な不適切性を抱える中、1次元のWiFi信号のみを用いて、細分化された人体認識（セグメンテーションとポーズ推定）を達成できるか？
• RQ2 カメラベースの最先端手法と比較して、WiFiベースの人物認識のセグメンテーション精度およびポーズ推定の正確性はどの程度か？
• RQ3 2次元画像アノテーションで学習した深層学習モデルが、1次元のWiFi CSI信号にどの程度一般化できるか。主な失敗モードは何か？
• RQ4 敵対的訓練およびデータ拡張技術により、異なるレイアウトや素材を持つ未訓練の屋内環境へのモデルの一般化性能は向上するか？
• RQ5 特に小さな四肢、レアなポーズ、オクルージョンに関して、WiFiベースの認識の主な制限要因は何か。それらはどのように緩和できるか？

主な発見

• Person-in-WiFiは、ボディセグメンテーションの平均交差率（mIoU）が0.66、ポーズ推定のmPCK@0.20が78.75%を達成し、カメラベース手法と同等の性能を示した。
• 160フレームの均一サンプリングされたテストセットにおいても、mIoUが0.66、mPCK@0.20が78.75%を達成し、多様な屋内シーンへの強い一般化能力を示した。
• 環境不変性を目的とした敵対的訓練により、未訓練環境におけるmIoUが0.12から0.24に、mPCK@0.20が19.34%から31.06%に向上し、実環境への展開に有望であることが示された。
• 失敗事例の主な原因は、空間分解能の低さ（12.5 cmの波長における回折による小さな四肢の欠落）、レアなポーズ、1台のカメラの視野制限による不完全なアノテーションであった。
• 頭部や足部の関節グループでは、より低いPCKスコアを示しており、モデルは頭部や足部のような小さな部分や、隠蔽された部分よりも、体幹や腕といった大きな身体部位に対して優れた性能を示した。
• より高品質なデータと改善されたデータ拡張技術を活用すれば、WiFiベースとカメラベースの認識性能のギャップをさらに縮小できる可能性があると示唆された。