[論文レビュー] Unsupervised Learning for Human Sensing Using Radio Signals

Tianhong Li, Lijie Fan+2 more|arXiv (Cornell University)|Jul 6, 2022

Indoor and Outdoor Localization Technologies被引用数 4

ひとこと要約

本稿では、対照的学習の限界を克服するため、RF信号における人間センシングに予測的自己教師あり学習を適応させる新規フレームワークであるTrajectory-Guided Unsupervised Learning (TGUL) を提案する。レーダーに基づく人物検出とタスク固有のデータ拡張を活用することで、ラベルなしRFデータから高品質な表現を学習し、3次元ポーズ推定や行動認識などの複数の下流タスクで最先端の性能を達成する。

ABSTRACT

There is a growing literature demonstrating the feasibility of using Radio Frequency (RF) signals to enable key computer vision tasks in the presence of occlusions and poor lighting. It leverages that RF signals traverse walls and occlusions to deliver through-wall pose estimation, action recognition, scene captioning, and human re-identification. However, unlike RGB datasets which can be labeled by human workers, labeling RF signals is a daunting task because such signals are not human interpretable. Yet, it is fairly easy to collect unlabelled RF signals. It would be highly beneficial to use such unlabeled RF data to learn useful representations in an unsupervised manner. Thus, in this paper, we explore the feasibility of adapting RGB-based unsupervised representation learning to RF signals. We show that while contrastive learning has emerged as the main technique for unsupervised representation learning from images and videos, such methods produce poor performance when applied to sensing humans using RF signals. In contrast, predictive unsupervised learning methods learn high-quality representations that can be used for multiple downstream RF-based sensing tasks. Our empirical results show that this approach outperforms state-of-the-art RF-based human sensing on various tasks, opening the possibility of unsupervised representation learning from this novel modality.

研究の動機と目的

• プライバシーおよび解釈可能性の制約により、収集が困難なラベル付きRFデータの限界に対処すること。
• 信号の疎らさ、背景ノイズ、色や回転不変性の欠如のため、標準的なRGBベースの自己教師あり学習手法がRF信号に適用できないことの克服。
• レーダー基盤のトラジェクトリ検出を用いて、表現学習を人間関連の信号成分に焦点化させるフレームワークの開発。
• 予測的自己教師あり学習（例：欠損補間）がRF信号において対照的学習を上回ることを実証し、距離デバイスなど短絡的信号を活用する傾向があることの解明。
• 大規模なラベルなしRFデータセットを効果的に活用し、最小限のラベル付きデータでも下流タスクの人体センシング性能を向上させること。

提案手法

• 生のRF信号における人間のトラジェクトリを検出するレーダー基盤モジュールを導入し、人間関連の信号成分の局所化を可能にする。
• RFに特化したデータ拡張を設計し、時間的空間的構造を保持するためのフレームマスキング戦略（例：5フレームのランダムセグメント）を採用。
• 予測的自己教師あり学習目的を採用する——具体的には、短いRFシーケンスのマスキングされたフレームを補間することで、意味のある表現を学習する。
• 検出された人間のトラジェクトリを用いてデータ拡張と表現学習をガイドし、背景反射からの干渉を低減する。
• 大規模なラベルなしRFデータで予測タスクを用いて特徴エンコーダーを事前学習し、その後、小規模なラベル付きデータセットで微調整して下流タスクに適用する。
• 3次元ポーズ推定、行動認識、再識別などのタスクに加え、複数のRFデータセット（例：RF-MMD）に本フレームワークを適用する。

Figure 1: Illustration of RF signals and corresponding RGB images (for illustration ONLY ). The signal reflected off the person occupies a small region in the received RF signal. Further, there are many other reflections from other objects.

実験結果

リサーチクエスチョン

• RQ1 RF信号に特有の課題を考慮した場合、予測的自己教師あり学習手法が人体センシングに効果的に適応可能か？
• RQ2 なぜ対照的学習はRF信号では失敗するのか？また、予測的手法と比較してどのようなバイアスを生じるのか？
• RQ3 補間における異なるマスキング戦略およびセグメントサイズは、RFベースの人体センシングにおける表現品質にどのように影響するか？
• RQ4 大規模なラベルなしRFデータセットにおける自己教師あり事前学習が、ラベル付きデータが限られた下流タスクの性能にどの程度向上効果をもたらすか？
• RQ5 トラジェクトリガイドド自己教師あり学習は、人間関連の信号成分に表現学習を焦点化させ、背景ノイズを抑制できるか？

主な発見

• 予測的自己教師あり学習、特にランダム5フレームセグメントを用いた補間は、対照的学習を上回り、3次元ポーズ推定誤差を、初期学習から訓練した場合と比較して5.3%低減する。
• 補間における最良のマスキング戦略は、5フレームのランダムセグメントであり、RF-MMDデータセットで36.2 mmのポーズ誤差を達成し、中央セグメントマスキングやランダムマスキングを上回る。
• 対照的学習は、特徴マップの可視化から人間関連情報の大部分を棄却する劣悪な表現を生成するが、予測的学習は重要な人間特徴を保持する。
• RF-MMDデータセット全体（ラベルなし）で事前学習し、10%のラベル付きサブセット（RF-MMD-S）で微調整することで、ポーズ誤差を48.7 mm（ランダム訓練）から43.2 mmに低減し、ラベルなしデータ活用で6.0%の改善を示す。
• 最小限のラベル付きデータでも、一般化性能と下流タスク性能が向上し、大規模なラベルなしRFデータでの自己教師あり事前学習が極めて有効であることが示された。
• レーダー基盤のトラジェクトリ検出の活用により、モデルは人間関連の信号成分に焦点を当て、背景反射からの干渉を軽減し、表現品質を向上させた。

Figure 2: Illustration of RF signals as a pair of horizontal and vertical heatmaps after subtracting static objects, and an RGB image recorded at the same time. Red color refers to high signal power, blue refers to low power.