[논문 리뷰] Temporal Unet: Sample Level Human Action Recognition using WiFi

Fei Wang, Yunpeng Song외 3명|arXiv (Cornell University)|2019. 04. 19.

Indoor and Outdoor Localization TechnologiesEngineering참고 문헌 53인용 수 17

한 줄 요약

이 논문은 WiFi 채널 상태 정보(CSI)를 사용한 샘플 수준의 인간 행동 인식을 위한 새로운 딥러닝 모델인 Temporal Unet을 소개한다. 시간 축을 따라 시간적 컨volution 및 디컨볼루션 레이어와 스킵 연결을 활용함으로써, 개별 CSI 샘플을 행동 클래스로 고정밀도로 분류하는 데 성공하였으며, 기존의 시리즈 수준 방법보다 뛰어난 성능을 보였다. 기준 데이터셋에서 행동 탐지의 평균 AP는 0.98, 행동 분류의 평균 AP는 0.86을 기록하였다.

ABSTRACT

Human doing actions will result in WiFi distortion, which is widely explored for action recognition, such as the elderly fallen detection, hand sign language recognition, and keystroke estimation. As our best survey, past work recognizes human action by categorizing one complete distortion series into one action, which we term as series-level action recognition. In this paper, we introduce a much more fine-grained and challenging action recognition task into WiFi sensing domain, i.e., sample-level action recognition. In this task, every WiFi distortion sample in the whole series should be categorized into one action, which is a critical technique in precise action localization, continuous action segmentation, and real-time action recognition. To achieve WiFi-based sample-level action recognition, we fully analyze approaches in image-based semantic segmentation as well as in video-based frame-level action recognition, then propose a simple yet efficient deep convolutional neural network, i.e., Temporal Unet. Experimental results show that Temporal Unet achieves this novel task well. Codes have been made publicly available at https://github.com/geekfeiw/WiSLAR.

연구 동기 및 목표

• 기존의 시리즈 수준 분류에 그치는 WiFi 센싱에서의 세밀한 샘플 수준 행동 인식의 부족을 해결하고자 한다.
• 각 개별 CSI 샘플에 행동 클래스를 레이블링하여 정밀한 시간적 국소화와 실시간 행동 인식을 가능하게 하고자 한다.
• 샘플 수준 행동 탐지 및 분류 작업을 효과적으로 처리할 수 있는 통합된 딥러닝 프레임워크를 개발하고자 한다.
• CSI 데이터에서 잡음과 미세한 행동 전이 간의 구분을 어렵게 만드는 시간적 맥락 모델링의 과제를 극복하고자 한다.

제안 방법

• CSI 시퀀스의 시간 축을 따라 시간적 컨볼루션, 풀링, 디컨볼루션 레이어를 적용한 U-Net 기반 아키텍처인 Temporal Unet을 제안한다.
• 시간적 스택 레이어를 활용해 인접 샘플들로부터 다중 척도의 맥락 정보를 캡처함으로써 시간에 걸친 강건한 특징 학습을 가능하게 한다.
• 에코더 및 디코더 블록 간의 스킵 연결을 적용하여 공간-시간적 세부 정보를 유지하고 기울기 흐름을 향상시킨다.
• 시간적 최대 풀링과 스트라이드 컨볼루션을 사용하여 특징을 다운샘플링 및 업샘플링하면서도 시간 해상도를 유지한다.
• 분류 작업을 위한 교차 엔트로피 손실과 탐지 작업을 위한 수정된 AP 기반 손실을 동시에 적용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 원시 시간 시리즈 왜곡을 인간 행동에 의해 유도된 3개의 OFDM 서브밴드의 CSI 데이터를 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 오직 원시 WiFi CSI 시간 시리즈 데이터만을 사용하여 딥러닝 모델이 정확한 샘플 수준 행동 인식을 달성할 수 있는가?
• RQ2 인접 샘플들로부터의 시간적 맥락을 효과적으로 모델링하여 개별 CSI 샘플의 분류 성능을 향상시킬 수 있는가?
• RQ3 단일 통합 아키텍처가 높은 성능으로 샘플 수준 행동 탐지 및 분류 작업을 동시에 수행할 수 있는가?
• RQ4 스킵 연결과 다중 척도 시간 컨볼루션은 세밀한 행동 인식에서 정확도에 어떤 영향을 미치는가?
• RQ5 시간 정밀도와 실시간 적용 가능성 측면에서 기존의 시리즈 수준 접근 방식과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• Temporal Unet은 샘플 수준 행동 탐지에서 평균 AP 0.98을 달성하여 높은 성공 임계값에서도 뛰어난 성능을 보였다.
• 샘플 수준 행동 분류에서는 평균 AP 0.86을 기록하였으며, 대부분의 행동 클래스를 높은 신뢰도로 구분하였다.
• 혼동 행렬 분석 결과, 주로 '오른손 움직임'과 '왼손 움직임' 사이에서 오분류가 발생한 것으로 나타났으며, 이는 대칭성 때문일 가능성이 높다.
• 비행동 상태에서 행동 상태로의 전이 단계가 탐지 및 분류 모두에서 가장 흔한 오류 원인으로 나타났다.
• 시각화 결과는 모델이 행동 시작 및 종료 시간을 정확히 식별하고 있음을 확인하였으며, 신뢰도 곡선이 수동 애너테이션과 잘 일치하였다.
• 모델은 실시간 및 연속적인 행동 분할에 필수적인 개별 샘플 레이블링을 가능하게 함으로써 기존의 시리즈 수준 방법보다 뛰어난 성능을 보였다.