[논문 리뷰] Can WiFi Estimate Person Pose?

Fei Wang, Stanislav Panev외 3명|arXiv (Cornell University)|2019. 03. 30.

Indoor and Outdoor Localization Technologies참고 문헌 30인용 수 34

한 줄 요약

논문은 WiFi CSI 데이터를 이용한 단일 인체 자세 추정과 WiSPPN이라는 CNN 기반 모형을 제시하며, 대형 데이터셋에서 카메라 기반 방법과 비교 가능한 자세 추정을 달성한다.

ABSTRACT

WiFi human sensing has achieved great progress in indoor localization, activity classification, etc. Retracing the development of these work, we have a natural question: can WiFi devices work like cameras for vision applications? In this paper We try to answer this question by exploring the ability of WiFi on estimating single person pose. We use a 3-antenna WiFi sender and a 3-antenna receiver to generate WiFi data. Meanwhile, we use a synchronized camera to capture person videos for corresponding keypoint annotations. We further propose a fully convolutional network (FCN), termed WiSPPN, to estimate single person pose from the collected data and annotations. Evaluation on over 80k images (16 sites and 8 persons) replies aforesaid question with a positive answer. Codes have been made publicly available at https://github.com/geekfeiw/WiSPPN.

연구 동기 및 목표

• WiFi가 미세한 자세 추정에 사용될 수 있는지에 대한 동기 부여 및 해답 제시.
• WiFi CSI와 카메라 기반 자세 주석을 매칭하는 동기화 다중 모달 데이터셋 생성.
• WiSPPN을 제안하여 WiFi CSI를 자세 표현으로 매핑.
• 자세 구조를 규칙화하기 위한 자세 인접 행렬 임베딩 도입.

제안 방법

• 동기화된 WiFi CSI 데이터(30 채널, 3x3 안테나)와 16개 사이트, 8명의 피험자로 구성된 카메라 비디오를 수집.
• 카메라 프레임에서 AlphaPose로 자세를 주석화하고 Pose Adjacent Matrix (PAM)로 변환.
• WiSPPN 설계: CSI를 확장하고 ResNet 스타일 블록으로 특징을 추출하는 인코더–특징 추출기–디코더 네트워크로, 3x18x18 PAM을 예측.
• AlphaPose로 도출된 PAM이 학생 네트워크를 감독하는 교사-학생 설정으로 WiSPPN 학습.
• 예측된 PAM과 ground-truth PAM 간의 x 및 y 축의 차이를 L2로 최소화하고 신뢰도에 의해 스케일링하는 PAM 유사도 손실 사용.
• 다양한 임계값에서 18개의 특징점에 대해 PCK 지표로 평가.

실험 결과

연구 질문

• RQ1 WiFi CSI를 단일 인체의 정확한 2D 인간 키포인트 좌표로 매핑할 수 있는가?
• RQ2 자세 인접 행렬이 WiFi 기반 자세 추정에서 직접 키포인트 회귀보다 일반화에 더 이로운가?
• RQ3 동기화된 카메라 주석이 있는 현실적 데이터셋에서 WiSPPN의 성능은 어떠한가?
• RQ4 PCK 지표 측면에서 WiFi 기반 자세 추정이 카메라 기반 방법에 얼마나 근접할 수 있는가?

주요 결과

• WiSPPN은 CSI 데이터로 단일 인체 자세 추정에 대해 평균 PCK@5에서 PCK@50까지 각각 0.04, 0.14, 0.38, 0.59, 0.73, 0.82의 성능을 18개의 키포인트에 대해 달성한다.
• 모든 18개의 키포인트에서 높은 임계값에서도 비제로 PCK 점수를 보이며, 보통 목, 어깨, 엉덩이, 팔꿈치가 말단부보다 더 높은 경향을 보인다.
• 시스템은 PAM을 사용해 좌표와 변위를 임베드하여 골격 형태의 규칙화와 타당성을 개선한다.
• 교사 네트워크(AlphaPose)가 PAM 감독을 제공하여 WiFi 기반 학생 네트워크를 교차 모달 학습 가능하게 한다.
• 16개 사이트의 8명의 피험자로 80k 이미지에 대한 평가에서 WiFi가 카메라 기반 접근법과 비교해도 경쟁력 있는 결과를 보인다.