[論文レビュー] Learning Longterm Representations for Person Re-Identification Using Radio Signals

Lijie Fan, Tianhong Li+4 more|arXiv (Cornell University)|Apr 2, 2020

Video Surveillance and Tracking Methods参考文献 54被引用数 5

ひとこと要約

本論文では、体の形状や歩行スタイルといった持続的で長期的な人体特徴を抽出するために、電波周波数（RF）信号を用いる新しい人物再識別手法RF-ReIDを提案する。これは、衣服の変化などに左右されやすい一時的な外見特徴に依存するRGBベースの手法の限界を克服するものである。3次元骨格推定と環境識別器を併用したマルチタスク学習により、遮蔽や低照度下でも、何日も経った後でも顕著な同一人物照合が可能となり、縦断的データセットにおいて最先端の動画ReIDモデルを上回る性能を達成した。

ABSTRACT

Person Re-Identification (ReID) aims to recognize a person-of-interest across different places and times. Existing ReID methods rely on images or videos collected using RGB cameras. They extract appearance features like clothes, shoes, hair, etc. Such features, however, can change drastically from one day to the next, leading to inability to identify people over extended time periods. In this paper, we introduce RF-ReID, a novel approach that harnesses radio frequency (RF) signals for longterm person ReID. RF signals traverse clothes and reflect off the human body; thus they can be used to extract more persistent human-identifying features like body size and shape. We evaluate the performance of RF-ReID on longitudinal datasets that span days and weeks, where the person may wear different clothes across days. Our experiments demonstrate that RF-ReID outperforms state-of-the-art RGB-based ReID approaches for long term person ReID. Our results also reveal two interesting features: First since RF signals work in the presence of occlusions and poor lighting, RF-ReID allows for person ReID in such scenarios. Second, unlike photos and videos which reveal personal and private information, RF signals are more privacy-preserving, and hence can help extend person ReID to privacy-concerned domains, like healthcare.

研究の動機と目的

• 衣服の変化が顕著に現れるような長期的な期間にわたり人物再識別を実現する課題に対処すること。
• 個人情報を露わにする視覚データに依存しない、プライバシー保護型のReIDシステムを開発すること。
• 遮蔽や低照度環境など、困難な条件下でも強力なReIDを実現すること。
• 衣服の短期的変化とは無関係に、安定的で長期的な識別特徴をRF信号から抽出すること。
• IDラベルによる弱い教師信号にのみ依存するRFベースのReIDで過学習を軽減するため、ID特徴を環境固有のバイアスから分離すること。

提案手法

• RF信号から人物IDと3次元人体骨格を同時に予測するマルチタスク学習フレームワークを採用し、特徴の頑健性を向上させる。
• 特徴抽出器と併せて学習される敵対的環境識別器により、特徴を環境的文脈に依存させず、場所固有のパターンへの過学習を低減する。
• 複数のRFスナップショットにわたる情報を統合する階層的アテンション機構を採用し、信号のスペキュラリティや部分的反射に対しても全身特徴を再構築する。
• 骨格推定と敵対的ドメイン一般化の監視信号を用いて、人物IDラベルのみでエンドツーエンドに学習可能なRF-ReIDモデルを構築する。
• 衣服を透過し、人体に反射するWi-Fi帯域のRF信号を用いて、体の形状と運動特徴を抽出する。
• キャンパスに5台の同期されたRF受信機を配置し、同じ位置に設置されたRGBカメラの真値IDを併記した縦断的データを収集する。

実験結果

リサーチクエスチョン

• RQ1 衣服の変化があっても、数日後まで持続する安定した特徴をRF信号から抽出できるか？
• RQ2 RGBカメラが機能しない遮蔽や低照度環境下でも、RFベースのReIDシステムは正確な識別を維持できるか？
• RQ3 IDラベルからの弱い教師信号にのみ依存するRFベースのReIDモデルで、過学習をどのように軽減できるか？
• RQ4 視覚的手法と比較して、RF信号は人物再識別においてどれほどプライバシー保護に寄与できるか？
• RQ5 環境に依存しない特徴を学習することで、RF-ReIDは異なる環境間で一般化できるか？

主な発見

• RF-ReIDはRRD-CampusデータセットでmAP 59.5%、CMC-1 82.1%を達成し、動画ベースのReIDベースラインを上回った。
• 環境識別器の導入により、mAPが2.8ポイント、CMC-1が7.9ポイント向上し、環境バイアス低減の有効性が裏付けられた。
• 定性的な結果から、RF-ReIDは異なる衣服を着た人物を正しく照合した一方で、RGBベースのモデルは衣服の類似性のため失敗した。
• RF-ReIDは低照度や遮蔽状態でも性能を維持したが、RGBベースのモデルは人物の検出や正しく識別できなかった。
• 自転車やスケートボードなどの車輪付きの物体を使用する人物では、歩行パターンやRF反射が変化したため、モデルの性能が低下した。
• 特徴可視化の結果、環境識別器がID特徴を環境的文脈から効果的に分離し、埋め込みがより均等に分布していることが確認された。