[논문 리뷰] mmPose-NLP: A Natural Language Processing Approach to Precise Skeletal Pose Estimation using mmWave Radars

Arindam Sengupta, Siyang Cao|arXiv (Cornell University)|2021. 07. 21.

Hand Gesture Recognition Systems참고 문헌 33인용 수 8

한 줄 요약

이 논문은 자연어 처리에서 영감을 얻어 mmWave 레이더 포인트 클라우드에서 25개의 3D 스켈레탈 키포인트를 추정하기 위한 새로운 시퀀스-투-시퀀스 딥 러닝 모델인 mmPose-NLP를 제안한다. 레이더 데이터를 볼록화하고 어텐션 강화된 GRU 아키텍처를 사용함으로써, 깊이, 수평 및 수직 축에서 3cm 미만의 국소화 정확도를 달성하였으며, 이는 mmWave 레이더만을 사용하여 이러한 정밀도를 달성한 최초의 방법이다.

ABSTRACT

In this paper we presented mmPose-NLP, a novel Natural Language Processing (NLP) inspired Sequence-to-Sequence (Seq2Seq) skeletal key-point estimator using millimeter-wave (mmWave) radar data. To the best of the author's knowledge, this is the first method to precisely estimate upto 25 skeletal key-points using mmWave radar data alone. Skeletal pose estimation is critical in several applications ranging from autonomous vehicles, traffic monitoring, patient monitoring, gait analysis, to defense security forensics, and aid both preventative and actionable decision making. The use of mmWave radars for this task, over traditionally employed optical sensors, provide several advantages, primarily its operational robustness to scene lighting and adverse weather conditions, where optical sensor performance degrade significantly. The mmWave radar point-cloud (PCL) data is first voxelized (analogous to tokenization in NLP) and $N$ frames of the voxelized radar data (analogous to a text paragraph in NLP) is subjected to the proposed mmPose-NLP architecture, where the voxel indices of the 25 skeletal key-points (analogous to keyword extraction in NLP) are predicted. The voxel indices are converted back to real world 3-D coordinates using the voxel dictionary used during the tokenization process. Mean Absolute Error (MAE) metrics were used to measure the accuracy of the proposed system against the ground truth, with the proposed mmPose-NLP offering <3 cm localization errors in the depth, horizontal and vertical axes. The effect of the number of input frames vs performance/accuracy was also studied for N = {1,2,..,10}. A comprehensive methodology, results, discussions and limitations are presented in this paper. All the source codes and results are made available on GitHub for furthering research and development in this critical yet emerging domain of skeletal key-point estimation using mmWave radars.

연구 동기 및 목표

• 저조도, 악천후 및 개인정보가 민감한 환경에서 광학 센서의 한계를 극복하기 위해 정교하고 개인정보 보호 기능을 갖춘 mmWave 레이더를 이용한 3D 스켈레탈 키포인트 추정 방법 개발.
• 보행 분석, 환자 모니터링 및 자율 시스템 등 응용 분야를 위한 정확하고 비침습적인 인간 운동 분석을 가능하게 하기 위해.
• 볼록화된 레이더 프레임을 '문장'으로, 키포인트를 '키워드'로 간주함으로써 레이더 기반 인간 자세 추정에 NLP에서 영감을 얻은 시퀀스-투-시퀀스 모델링을 적용할 수 있는지 탐색하기 위해.
• 입력 레이더 프레임 수(N=1에서 10까지)를 변화시켜 시간적 맥락이 자세 추정 정확도에 미치는 영향을 평가하기 위해.
• mmWave 레이더 기반 인간 자세 추정 분야의 연구를 가속화하기 위해 공개된 코드베이스와 데이터셋을 구축하기 위해.

제안 방법

• AWR 1843 mmWave 레이더 두 대에서 확보한 레이더 포인트 클라우드 데이터는 NLP의 토크나이제이션과 유사하게 이산 3D 격자로 볼록화된다.
• 연속된 N개의 볼록화된 레이더 프레임이 GRU 레이어를 사용한 인코더-디코더 아키텍처를 갖춘 시퀀스-투-시퀀스(SEQ2SEQ) 모델에 입력된다.
• 디코더에서 어텐션 메커니즘이 적용되어 키포인트 예측 시 관련된 공간 영역에 집중함으로써 국소화 정확도가 향상된다.
• 모델은 25개의 스켈레탈 키포인트에 대한 볼록 인덱스를 예측하며, 사전에 계산된 볼록 사전을 사용하여 이를 실제 3D 좌표계로 매핑한다.
• 학습 및 평가 과정은 ROS를 통해 수집한 커스터마이즈된 데이터셋을 사용하며, 지표는 MATLAB에서 Kinect 스켈레탈 트래커로부터 확보한 진짜값이다.
• 모델 성능은 모든 키포인트에 대해 3D 공간에서의 평균 절대 오차(MAE)와 다양한 입력 프레임 수(N=1에서 10까지)에 따른 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 NLP에서 영감을 얻은 SEQ2SEQ 모델이 mmWave 레이더 포인트 클라우드에서 25개의 3D 스켈레탈 키포인트를 효과적으로 예측할 수 있는가?
• RQ2 입력 레이더 프레임 수(N)가 스켈레탈 키포인트 추정 정확도에 미치는 영향은 어떠한가?
• RQ3 디코더에 적용된 어텐션 메커니즘이 레이더 데이터 내 주목할 만한 신체 부위에 집중함으로써 국소화 정밀도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 깊이, 수평 및 수직 방향에서 3cm 이내의 국소화 오차를 달성하여 이전의 레이더 기반 자세 추정 기법들을 능가하는가?
• RQ5 모델은 레이더 설정 및 데이터 해상도의 변화에 얼마나 강인한가? 그리고 이 연구에서 사용된 특정 설정을 초월해 일반화 가능한가?

주요 결과

• 제안된 mmPose-NLP 모델은 25개의 스켈레탈 키포인트에 대해 깊이, 수평 및 수직 방향에서 모두 평균 절대 오차(MAE)가 3cm 이하로 달성된다.
• 입력 프레임 수가 증가함에 따라 성능은 N=8까지 향상되며, 이 시점에서 가장 낮은 MAE를 기록한다. 이후 N=10에서는 성능이 약간 저하된다.
• 이상치 제거 후 17개의 비이상치 키포인트에 대한 관절별 MAE는 항상 3cm 이하로 유지되며, 높은 국소화 정확도를 확인한다.
• 디코더에 적용된 어텐션 메커니즘은 레이더 포인트 클라우드 내 관련된 신체 영역에 집중함으로써 키포인트 국소화 정확도 향상에 기여한다.
• NLP에서 영감을 얻은 시퀀스 모델링을 레이더 기반 인간 자세 추정에 적용할 수 있음을 입증하였으며, 정밀하고 개인정보 보호 기능이 있는 운동 추적을 가능하게 한다.
• 다양한 연속된 레이더 프레임에서의 시간적 맥락이 자세 추정 정확도를 크게 향상시킨다는 것이 확인되었다.