[논문 리뷰] Gesture Recognition from body-Worn RFID under Missing Data

Sahar Golipoor, Richard T. Brophy외 3명|arXiv (Cornell University)|2026. 01. 22.

Hand Gesture Recognition Systems인용 수 0

한 줄 요약

본 논문은 몸에 부착된 수동 RFID 태그를 이용한 제스처 인식 시스템을 개발하고, 보간(interpolation), 대치(imputation), 그래프-주의 CNN를 통해 누락 데이터를 처리하는 방법을 제시하며, 21가지 제스처에서 98.13%의 정확도와 leave-one-person-out 방식에서 89.28%의 정확도를 달성한다.

ABSTRACT

We explore hand-gesture recognition through the use of passive body-worn reflective tags. A data processing pipeline is proposed to address the issue of missing data. Specifically, missing information is recovered through linear and exponential interpolation and extrapolation. Furthermore, imputation and proximity-based inference are employed. We represent tags as nodes in a temporal graph, with edges formed based on correlations between received signal strength (RSS) and phase values across successive timestamps, and we train a graph-based convolutional neural network that exploits graph-based self-attention. The system outperforms state-of-the-art methods with an accuracy of 98.13% for the recognition of 21 gestures. We achieve 89.28% accuracy under leave-one-person-out cross-validation. We further investigate the contribution of various body locations on the recognition accuracy. Removing tags from the arms reduces accuracy by more than 10%, while removing the wrist tag only reduces accuracy by around 2%. Therefore, tag placements on the arms are more expressive for gesture recognition than on the wrist.

연구 동기 및 목표

• 태그 누락 탐지 및 데이터 손실에도 불구하고 몸에 부착된 RFID 태그로부터 강건한 제스처 인식을 촉진한다.
• 누락 정보를 회복하기 위한 보간, 대치, 정규화를 포함하는 데이터 처리 파이프라인을 제안한다.
• 태그 간 및 시간에 걸친 RSS와 위상 상관성을 이용하는 그래프 기반 신경망을 도입하여 분류한다.
• 다양한 환경, 거리, 피험자에서 시스템을 평가하여 배치 및 강건성을 분석한다.

제안 방법

• 8개의 몸에 부착된 RFID 태그를 시간 그래프의 노드로 표현하고, 간선은 타임스탬프 간 RSS/위상 상관성을 기반으로 한다.
• 위상 언래핑, 정규화, Savitzky–Golay 및 가우시안 스무딩을 적용하여 신호를 노이즈 제거한다.
• 선형 및 지수 보간으로 희박한 시작/끝 0 값을 채우고, 누락 샘플에 대해 0 패딩을 사용한다.
• 평균 유클리드 거리와 공간적 근접성(태그 배치)을 사용한 클래스 내 근접 기반 대치를 수행하여 널 데이터프레임을 채운다.
• 메시지 전달 및 집계를 위한 temporal-KNN 그래프 구성과 자기-주의를 갖춘 그래프 신경망을 구축한다.
• 그래프 학습을 위해 입력을 4D 텐서 [B, T, N, D]로 구성하되 T=30, N=8, D=2(RSS와 위상)이다.

실험 결과

연구 질문

• RQ1 여러 태그의 몸에 부착된 RFID 백스캐터 신호가 누락 데이터 조건하에서 21손 제스처를 신뢰성 있게 구분할 수 있는가?
• RQ2 데이터 정리 전략(보간, 대치)이 인식 성능과 태그 손실에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 태그 배치가 인식 정확도에 미치는 영향은 무엇이며, 그래프 기반 모델이 태그 간 및 시간에 걸친 상관관계를 어떻게 활용할 수 있는가?
• RQ4 leave-one-person-out 시나리오에서 그래프 기반 자기-주의 CNN이 전통적 RF/RSS 기반 분류기보다 성능이 우수한가?

주요 결과

방법	정확도	정밀도	재현율	F1
RFC with SP	83.56	83.72	83.56	83.42
RFC with SWP	86.26	86.48	86.20	86.07
RFC with SPR	95.25	95.35	95.25	95.23
Early Fusion	83.62	84.25	83.57	83.34
Late Fusion	87.13	88.32	87.08	86.91
EUIGR	80.40	78.94	80.07	78.73
GRfid	30.34	31.40	30.16	30.22
Our model	98.13	98.19	98.13	98.13
RFC with SP	85.07	86.29	85.02	85.13
RFC with SWP	85.71	86.72	85.71	85.72
RFC with SPR	93.52	94.35	93.52	93.59
Early Fusion	81.01	86.08	81.00	81.18
Late Fusion	89.41	90.18	89.39	89.39
EUIGR	80.37	74.75	80.33	75.97
GRfid	29.39	29.14	29.34	28.89
Our model	96.82	97.88	96.80	97.02
RFC with SP	84.12	84.67	84.07	83.96
RFC with SWP	81.26	82.39	81.26	80.93
RFC with SPR	93.80	94.08	93.78	93.71
Early Fusion	91.13	94.16	91.13	91.56
Late Fusion	90.15	91.13	90.15	90.15
EUIGR	87.30	83.75	87.27	84.55
GRfid	34.43	36.30	33.87	34.33
Our model	98.41	-	-	-

• Within-user 테스트에서 21 제스처에 대해 98.13%의 정확도, leave-one-person-out 교차 검증에서 89.28%의 정확도를 달성했다.
• 일 손 제스처의 정확도는 일부 제스처에서 98.27%에 도달하며, 21개 중 16개 제스처가 within-user 테스트에서 100%이다.
• 팔에 부착된 태그를 제거하면 정확도가 크게 감소한다(팔 태그 제거 시 10% 이상 하락; 손목 태그 제거는 약 2% 하락).
• 8개 태그 모두 높은 성능에 기여하며, 특정 태그(T4와 T8)는 제외될 때 가장 큰 영향을 준다.
• 제안된 그래프-주의 프레임워크가 RF 기반 베이스라인(RFC with SPR, Early/Late Fusion, EUIGR, GRfid)보다 더 우수하며, 거리 3m와 1.5m의 세 데이터셋에서 성능을 상회한다.