[논문 리뷰] DeepCount: Crowd Counting with WiFi via Deep Learning

Shangqing Liu, Yanchao Zhao외 3명|arXiv (Cornell University)|2019. 03. 13.

Indoor and Outdoor Localization Technologies참고 문헌 30인용 수 42

한 줄 요약

DeepCount는 WiFi CSI 데이터를 이용해 실내 다인 환경에서 군중을 세며 온라인 학습으로 약 90% 정확도에 도달한다.

ABSTRACT

Recently, the research of wireless sensing has achieved more intelligent results, and the intelligent sensing of human location and activity can be realized by means of WiFi devices. However, most of the current human environment perception work is limited to a single person's environment, because the environment in which multiple people exist is more complicated than the environment in which a single person exists. In order to solve the problem of human behavior perception in a multi-human environment, we first proposed a solution to achieve crowd counting (inferred population) using deep learning in a closed environment with WIFI signals - DeepCout, which is the first in a multi-human environment. step. Since the use of WiFi to directly count the crowd is too complicated, we use deep learning to solve this problem, use Convolutional Neural Network(CNN) to automatically extract the relationship between the number of people and the channel, and use Long Short Term Memory(LSTM) to resolve the dependencies of number of people and Channel State Information(CSI) . To overcome the massive labelled data required by deep learning method, we add an online learning mechanism to determine whether or not someone is entering/leaving the room by activity recognition model, so as to correct the deep learning model in the fine-tune stage, which, in turn, reduces the required training data and make our method evolving over time. The system of DeepCount is performed and evaluated on the commercial WiFi devices. By massive training samples, our end-to-end learning approach can achieve an average of 86.4% prediction accuracy in an environment of up to 5 people. Meanwhile, by the amendment mechanism of the activity recognition model to judge door switch to get the variance of crowd to amend deep learning predicted results, the accuracy is up to 90%.

연구 동기 및 목표

• 다중 인원이 있는 실내 환경에서 보편화된 WiFi 신호를 이용한 군중 수 추정 동기화.
• Channel State Information (CSI)을 군중 수로 매핑하는 딥 러닝 모델 개발.
• 활동 인식을 통한 온라인 학습을 도입하여 시간이 지남에 따라 모델을 적응시키기.
• 종단 간 처리와 함께 상용 WiFi 하드웨어에서 시스템 가능성 시演시.

제안 방법

• 2Tx, 3Rx 안테나를 갖춘 5 GHz WiFi 링크에서 CSI 진폭과 위상을 처리하여 180개 서브캐리어 스트림을 얻는다.
• CSI에 Butterworth 필터링, PCA 기반 잡음 제거(첫 번째 주성분 버리기) 및 중앙값 스무딩을 적용하여 특징을 준비한다.
• Discrete Wavelet Transform (Daubechies D4)를 통해 시계열 및 주파수 도메인 특징을 추출하고 128-s 창에서 10 수준의 에너지/분산을 계산한다.
• LSTM 레이어(64 유닛) 다음에 CNN 블록과 Dense 계층을 사용하여 엔드-투-엔드 군중 수를 예측하고 5 클래스에 대한 소프트맥스 출력을 제공한다.
• 차이점이 발생할 때 최근 Dense 계층만 재학습하도록 활동 인식 모델(출입문 스위치 이벤트)을 사용한 온라인 보정 메커니즘 도입.

실험 결과

연구 질문

• RQ1 CSI 기반 WiFi 센싱이 여러 명이 있는 방의 인원 수를 정확히 추정할 수 있는가?
• RQ2 딥 러닝이 CSI 특징을 활용해 동적 실내 환경에서 군중 수로 매핑하는 방법은 무엇인가?
• RQ3 활동 인식을 통한 온라인 학습이 시간에 따라 정확도를 향상시키는가?
• RQ4 군중 수 추정을 위해 CSI 정보를 가장 잘 보존하는 전처리 및 특징 추출 단계는 무엇인가?

주요 결과

• 다섯 명까지의 환경에서 평균 추정 정확도는 86.4%였다.
• 출입문 감지를 이용한 온라인 보정 메커니즘으로 정확도가 90%까지 상승했다.
• 50 GHz 대역폭이 아닌 5 GHz 대역폭에서 초당 1500 패킷 샘플링으로 상용 WiFi 하드웨어에서 시스템을 평가했다.
• 활동 인식 및 군중 수를 위한 8가지 활동에서 10명의 자원봉사자로부터 800개의 활동 샘플을 수집했다.
• 아키텍처는 특징 추출을 위한 CNN과 시간 의존성을 위한 LSTM을 결합하여 위상 및 진폭 CSI를 입력으로 사용한다.