[논문 리뷰] Using GAN to Enhance the Accuracy of Indoor Human Activity Recognition

Parisa Fard Moshiri, Hojjat Navidan외 3명|arXiv (Cornell University)|2020. 04. 23.

Context-Aware Activity Recognition SystemsComputer Science참고 문헌 15인용 수 21

한 줄 요약

이 논문은 WiFi 신호를 사용한 실내 인간 활동 인식(HAR)의 정확도를 향상시키기 위해 생성적 적대적 네트워크(GAN)를 활용해 채널 상태 정보(CSI) 데이터를 합성하는 준지도 학습 딥러닝 프레임워크를 제안한다. 실제 CSI 데이터의 50%와 GAN으로 생성한 데이터를 조합하고, 주성분 분석(PCA)과 단기 푸리에 변환(STFT)을 사용해 특징을 추출함으로써, 오직 실재 데이터만을 사용하는 경우에 비해 분류 정확도를 3.4% 향상시키고 로그 손실을 16% 감소시킨다.

ABSTRACT

Indoor human activity recognition (HAR) explores the correlation between human body movements and the reflected WiFi signals to classify different activities. By analyzing WiFi signal patterns, especially the dynamics of channel state information (CSI), different activities can be distinguished. Gathering CSI data is expensive both from the timing and equipment perspective. In this paper, we use synthetic data to reduce the need for real measured CSI. We present a semi-supervised learning method for CSI-based activity recognition systems in which long short-term memory (LSTM) is employed to learn features and recognize seven different actions. We apply principal component analysis (PCA) on CSI amplitude data, while short-time Fourier transform (STFT) extracts the features in the frequency domain. At first, we train the LSTM network with entirely raw CSI data, which takes much more processing time. To this end, we aim to generate data by using 50% of raw data in conjunction with a generative adversarial network (GAN). Our experimental results confirm that this model can increase classification accuracy by 3.4% and reduce the Log loss by almost 16% in the considered scenario.

연구 동기 및 목표

• 실내 인간 활동 인식을 위한 실재 CSI 데이터 확보의 높은 비용과 데이터 수집 부담을 줄이기 위해.
• 제한된 실재 데이터만을 사용할 때 CSI 기반 HAR 시스템의 분류 정확도를 향상시키기 위해.
• GAN을 통한 합성 데이터의 효과성을 평가하여 딥러닝 모델의 HAR 성능 향상에 기여하기 위해.
• PCA, STFT, 그리고 LSTM을 통합한 준지도 학습 파이프라인을 개발하여 강력한 특징 추출 및 분류를 가능하게 하기 위해.

제안 방법

• 실제 CSI 진폭 데이터의 50%에 대해 생성적 적대적 네트워크(GAN)를 훈련시어 합성 CSI 샘플을 생성한다.
• 주성분 분석(PCA)을 적용하여 CSI 진폭 데이터의 차원을 감소시킨다.
• 단기 푸리에 변환(STFT)을 사용해 CSI 신호의 주파수 도메인 특징을 추출한다.
• 실제 데이터와 GAN으로 생성한 CSI 데이터의 조합을 사용해 순서 모델링 및 활동 분류를 위한 LSTM 네트워크를 훈련시킨다.
• 모델은 준지도 학습 전략을 사용하며, GAN은 데이터 다양성을 향상시키면서도 완전히 레이블이 붙은 실재 데이터에 대한 의존도를 최소화한다.
• 일곱 가지 실내 인간 활동으로 구성된 데이터셋에서 정확도와 로그 손실 지표를 사용해 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성한 합성 CSI 데이터는 실내 인간 활동 인식에서 딥러닝 모델의 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 실제 데이터와 합성 데이터를 조합할 경우, 오직 실재 데이터만을 사용할 때보다 분류 정확도가 얼마나 향상되는가?
• RQ3 PCA와 STFT를 LSTM에 통합할 경우 CSI 기반 HAR에서 특징 표현이 어떻게 향상되는가?
• RQ4 준지도 학습 훈련 전략은 대규모 실재 CSI 데이터 수집의 필요성을 줄일 수 있는가?

주요 결과

• 제안된 방법은 오직 실재 CSI 데이터로만 훈련하는 경우에 비해 분류 정확도를 3.4% 향상시킨다.
• 실제 데이터와 GAN으로 생성한 데이터의 조합을 사용할 경우 모델의 로그 손실이 약 16% 감소한다.
• GAN으로 생성한 데이터의 사용은 제한된 실재 데이터 상황에서 모델의 일반화 능력을 크게 향상시킨다.
• PCA와 STFT의 통합은 특징 표현을 향상시켜 더 나은 LSTM 성능을 지원한다.