[논문 리뷰] Unsupervised Learning for Human Sensing Using Radio Signals

Tianhong Li, Lijie Fan외 2명|arXiv (Cornell University)|2022. 07. 06.

Indoor and Outdoor Localization Technologies인용 수 4

한 줄 요약

이 논문은 예측형 비지도 학습을 레이더 신호에 적용하여 인간 감지에 적합한 새로운 프레임워크인 궤도 유도 비지도 학습(Trajectory-Guided Unsupervised Learning, TGUL)을 제안한다. 이는 대조 학습의 한계를 극복하며, 레이더 기반의 인체 탐지와 작업에 특화된 데이터 증강 기법을 활용하여 레이더 신호에서 레이블이 없는 데이터로부터 고품질의 표현을 학습한다. 이로 인해 3D 자세 추정 및 동작 인식과 같은 다양한 후행 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There is a growing literature demonstrating the feasibility of using Radio Frequency (RF) signals to enable key computer vision tasks in the presence of occlusions and poor lighting. It leverages that RF signals traverse walls and occlusions to deliver through-wall pose estimation, action recognition, scene captioning, and human re-identification. However, unlike RGB datasets which can be labeled by human workers, labeling RF signals is a daunting task because such signals are not human interpretable. Yet, it is fairly easy to collect unlabelled RF signals. It would be highly beneficial to use such unlabeled RF data to learn useful representations in an unsupervised manner. Thus, in this paper, we explore the feasibility of adapting RGB-based unsupervised representation learning to RF signals. We show that while contrastive learning has emerged as the main technique for unsupervised representation learning from images and videos, such methods produce poor performance when applied to sensing humans using RF signals. In contrast, predictive unsupervised learning methods learn high-quality representations that can be used for multiple downstream RF-based sensing tasks. Our empirical results show that this approach outperforms state-of-the-art RF-based human sensing on various tasks, opening the possibility of unsupervised representation learning from this novel modality.

연구 동기 및 목표

• 개인 정보 보호 및 해석 가능성 제약으로 인해 수집이 어려운 레이어드 신호의 레이블이 부족한 문제를 해결한다.
• 신호의 흐าก함, 배경 잡음, 색상 또는 회전 불변성 부족으로 인해 기존의 RGB 기반 비지도 학습 방법이 레이더 신호에 적용되기 어려운 문제를 해결한다.
• 레이더 기반의 궤도 탐지를 통해 표현 학습을 인간 관련 신호 성분에 집중시킬 수 있는 프레임워크를 개발한다.
• 예측형 자기지도 학습(예: 프레임 복원)이 레이더 신호에서 대조 학습보다 우수한 성능을 내며, 거리 측정 등의 단순한 신호를 악용하는 경향이 있는 이유를 입증한다.
• 대규모 레이블이 없는 레이더 데이터셋을 효과적으로 활용하여 레이블이 적은 경우에도 후행 인간 감지 성능을 향상시킬 수 있도록 한다.

제안 방법

• 원시 레이더 신호에서 인간의 궤도를 탐지할 수 있는 레이더 기반 모듈을 도입하여 인간 관련 신호 성분의 국소화를 가능하게 한다.
• 레이더에 특화된 데이터 증강 기법을 설계하였으며, 예를 들어 5프레임의 랜덤 세그먼트를 마스킹하는 전략을 포함하여 시공간적 구조를 유지한다.
• 의미 있는 표현을 학습하기 위해 예측형 자기지도 학습 목표를 채택하였으며, 특히 짧은 레이더 시퀀스에서 마스킹된 프레임을 복원하는 방식을 사용한다.
• 탐지된 인간 궤도를 기반으로 데이터 증강 및 표현 학습을 유도하여 배경 반사에 의한 간섭을 줄인다.
• 대규모 레이블이 없는 레이더 데이터에서 예측 과제를 통해 특징 인코더를 사전 학습한 후, 소규모 레이블이 있는 데이터셋에서 미세 조정하여 후행 작업에 활용한다.
• 다양한 레이더 데이터셋(예: RF-MMD)과 작업(3D 자세 추정, 동작 인식, 재식별)에 이 프레임워크를 적용한다.

Figure 1: Illustration of RF signals and corresponding RGB images (for illustration ONLY ). The signal reflected off the person occupies a small region in the received RF signal. Further, there are many other reflections from other objects.

실험 결과

연구 질문

• RQ1 레이더 신호의 고유한 과제를 감안할 때, 예측형 자기지도 학습 방법이 인간 감지에 효과적으로 적용될 수 있는가?
• RQ2 왜 대조 학습은 레이더 신호에서는 실패하는가? 예측 방법과 비교해 볼 때 어떤 편향을 유도하는가?
• RQ3 프레임 복원 시 다양한 마스킹 전략과 세그먼트 크기는 레이더 기반 인간 감지의 표현 품질에 어떤 영향을 미치는가?
• RQ4 대규모 레이블이 없는 레이더 데이터셋에서의 비지도 사전 학습이 레이블이 제한된 후행 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 궤도 유도 비지도 학습은 인간 관련 신호 성분에 표현 학습을 집중시키고 배경 잡음을 억제할 수 있는가?

주요 결과

• 예측형 비지도 학습, 특히 랜덤 5프레임 세그먼트를 활용한 프레임 복원이 대조 학습보다 레이더 신호에서 더 우수한 성능을 보이며, 랜덤 학습 대비 3D 자세 추정 오차를 5.3% 감소시켰다.
• 프레임 복원에서 가장 우수한 마스킹 전략은 5프레임의 랜덤 세그먼트이며, 이는 RF-MMD 데이터셋에서 자세 오차 36.2mm를 기록하여 중심 세그먼트 마스킹 및 랜덤 마스킹보다 뛰어난 성능을 보였다.
• 대조 학습은 대부분의 인간 관련 정보를 기각하는 열악한 표현을 생성하며, 특징 맵을 통해 이를 시각화한 결과 예측 학습은 핵심적인 인간 특징을 유지한다.
• 전체 RF-MMD 데이터셋(레이블 없음)에서 사전 학습하고 10% 레이블이 있는 서브셋(RF-MMD-S)에서 미세 조정하면 자세 오차가 랜덤 학습 대비 48.7mm에서 43.2mm로 감소하여 레이블이 없는 데이터를 활용해 6.0% 향상된 것으로 나타났다.
• 이 프레임워크는 레이블이 적은 경우에도 일반화 능력과 후행 작업 성능을 향상시켰으며, 대규모 레이블이 없는 레이더 데이터에서의 비지도 사전 학습이 매우 효과적임을 입증했다.
• 레이더 기반 궤도 탐지를 활용함으로써 모델은 인간 관련 신호 성분에 집중할 수 있었고, 배경 반사에 의한 간섭을 완화하며 표현 품질을 향상시켰다.

Figure 2: Illustration of RF signals as a pair of horizontal and vertical heatmaps after subtracting static objects, and an RGB image recorded at the same time. Red color refers to high signal power, blue refers to low power.