[論文レビュー] Unsupervised Domain Adaptation for RF-based Gesture Recognition

Bin-Bin Zhang, Dongheng Zhang+3 more|arXiv (Cornell University)|Nov 20, 2021

Indoor and Outdoor Localization Technologies参考文献 63被引用数 7

ひとこと要約

本論文は、擬似ラベル化、一貫性正則化、ランダム特徴量消去によるデータ拡張、および信頼度制御を活用して、ラベルなしターゲットドメインデータを効果的に活用することで、クロスドメイン一般化を向上させる、RFベースのデバイスフリー指差し認識のための教師なしドメイン適応フレームワークを提案する。本手法は、ラベルなしターゲットサンプルを必要とせず、Wi-Fiおよびミリ波レーダデータセットの両方で最先端の性能を達成する。

ABSTRACT

Human gesture recognition with Radio Frequency (RF) signals has attained acclaim due to the omnipresence, privacy protection, and broad coverage nature of RF signals. These gesture recognition systems rely on neural networks trained with a large number of labeled data. However, the recognition model trained with data under certain conditions would suffer from significant performance degradation when applied in practical deployment, which limits the application of gesture recognition systems. In this paper, we propose an unsupervised domain adaptation framework for RF-based gesture recognition aiming to enhance the performance of the recognition model in new conditions by making effective use of the unlabeled data from new conditions. We first propose pseudo-labeling and consistency regularization to utilize unlabeled data for model training and eliminate the feature discrepancies in different domains. Then we propose a confidence constraint loss to enhance the effectiveness of pseudo-labeling, and design two corresponding data augmentation methods based on the characteristic of the RF signals to strengthen the performance of the consistency regularization, which can make the framework more effective and robust. Furthermore, we propose a cross-match loss to integrate the pseudo-labeling and consistency regularization, which makes the whole framework simple yet effective. Extensive experiments demonstrate that the proposed framework could achieve 4.35% and 2.25% accuracy improvement comparing with the state-of-the-art methods on public WiFi dataset and millimeter wave (mmWave) radar dataset, respectively.

研究の動機と目的

• ドメインシフトのため、異なるドメインに展開されたRFベースのジェスチャー認識モデルの性能低下を是正すること。
• ターゲットドメインからのラベル付きデータを必要とせずに、クロスドメイン一般化を向上させること。
• ラベルなしターゲットデータを効果的に活用する、効率的でエンドツーエンドの教師なしドメイン適応フレームワークを構築すること。
• ドメイン適応の過程で予測の過信を抑えるために、信頼度制御制約を用いること。

提案手法

• 教師モデルを用いて、ラベルなしターゲットドメインサンプルに対して高信頼度のラベルを生成するための擬似ラベル化を適用する。
• 同一の入力データのオリジナル版と拡張版の間で合意を強制することで、一貫性正則化を実装する。
• 耐性向上と特徴学習の改善を目的として、ランダム特徴量消去に基づく2つのデータ拡張技術を導入する。
• 過信した予測を抑制することで、モデルのキャリブレーションと一般化を向上させるために、信頼度制御制約を用いる。
• 擬似ラベル化と一貫性正則化を統合した共同学習スキームを採用し、特徴の整合性と分類精度を向上させる。
• 予測が教師モデルから学生モデルにラベルなしターゲットデータ上でガイドされる二ストリーム学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットデータを前提とした場合に、教師なしドメイン適応技術がRFベースのジェスチャー認識モデルのクロスドメイン性能を向上させられるか。
• RQ2 擬似ラベル化と一貫性正則化を組み合わせた手法が、RF信号ベースのジェスチャー認識におけるドメイン間の特徴整合をどの程度効果的に実現できるか。
• RQ3 ランダム特徴量消去に基づくデータ拡張戦略が、RF信号のドメイン適応におけるモデルの耐性および一般化性能にどのような影響を与えるか。
• RQ4 信頼度制御が過信を緩和し、リソースが限られたドメイン適応環境でのモデル性能をどのように向上させるか。
• RQ5 Wi-Fiおよびミリ波データセットにおける最適なハイパーパramータ（しきい値および制約重み）の設定は何か。

主な発見

• 提案フレームワークは、Wi-Fiデータセットで平均正解率91.98%、ミリ波レーダデータセットで95.65%を達成し、ベースラインモデルを上回る性能を示した。
• 信頼度制御制約がモデル性能を顕著に向上させ、Wi-Fiでは重み0.92、ミリ波では0.95の設定で最良の結果が得られた。
• ランダム特徴量消去によるデータ拡張は、Wi-Fiデータセットで1.25ポイント、ミリ波レーダデータセットで2.99ポイントの正解率向上をもたらした。
• 最適な擬似ラベルしきい値は、Wi-Fiで0.92、ミリ波で0.95であり、ラベル品質と数量のバランスを最適化していた。
• アブレーションスタディの結果、すべての構成要素（擬似ラベル化、一貫性正則化、データ拡張、信頼度制御）が最高性能を発揮するために不可欠であることが確認された。
• フルモデルは安定して収束し、ベースモデルが収束しない状況でも高い正解率を達成した。これにより、提案されたコンponentsの有効性が裏付けられた。