[논문 리뷰] Integrating Sensing and Communication in Cellular Networks via NR Sidelink

Dariush Salami, Ramin Hasibi외 3명|arXiv (Cornell University)|2021. 09. 15.

Antenna Design and Analysis참고 문헌 44인용 수 5

한 줄 요약

이 논문은 5G 이상 네트워크에서 장치 주도형으로 유연한 RF 센싱을 구현하기 위해 3GPP 호환 NR 사이드링크를 사용하는 것을 제안한다. 각도 및 회전 의존성을 해결하기 위해 회전 불변 포인트 클라우드 처리와 그래프 기반 인코더를 활용하며, 네 가지 다각도 학습 방법을 도입하여 8개의 각도에서 15명의 참가자로부터 수집한 새로운 오픈 데이터셋(25,000개 샘플)을 이용해 기존 기준 대비 뛰어난 제스처 인식 정확도를 입증한다.

ABSTRACT

RF-sensing, the analysis and interpretation of movement or environment-induced patterns in received electromagnetic signals, has been actively investigated for more than a decade. Since electromagnetic signals, through cellular communication systems, are omnipresent, RF sensing has the potential to become a universal sensing mechanism with applications in smart home, retail, localization, gesture recognition, intrusion detection, etc. Specifically, existing cellular network installations might be dual-used for both communication and sensing. Such communications and sensing convergence is envisioned for future communication networks. We propose the use of NR-sidelink direct device-to-device communication to achieve device-initiated,flexible sensing capabilities in beyond 5G cellular communication systems. In this article, we specifically investigate a common issue related to sidelink-based RF-sensing, which is its angle and rotation dependence. In particular, we discuss transformations of mmWave point-cloud data which achieve rotational invariance, as well as distributed processing based on such rotational invariant inputs, at angle and distance diverse devices. To process the distributed data, we propose a graph based encoder to capture spatio-temporal features of the data and propose four approaches for multi-angle learning. The approaches are compared on a newly recorded and openly available dataset comprising 15 subjects, performing 21 gestures which are recorded from 8 angles.

연구 동기 및 목표

• 표준화된 NR 사이드링크를 활용해 향후 이동통신 네트워크에서 장치 주도형으로 유연한 RF 센싱을 가능하게 하기 위해.
• 분산된 사이드링크 기반 RF 센싱에서 발생하는 각도 및 회전 의존성 문제를 해결하기 위해.
• 다양한 센서 방향에 대해 일반화 가능한 강력한 다각도 학습 프레임워크를 개발하기 위해.
• 8개의 각도에서 15명의 참가자로부터 촬영한 고해상도 mmWave 제스처 데이터셋을 구축하고 공개하기 위해.
• 데이터 수집 및 모델 훈련을 위한 오픈소스 도구를 제공하여 RF 센싱 분야의 연구를 가속화하기 위해.

제안 방법

• 백홀 캐리어 의존 없이 센싱을 가능하게 하기 위해 3GPP NR 사이드링크를 활용해 자원 할당 및 직접 장치 간 통신을 수행한다.
• 장치 방향 민감도를 감소시키기 위해 mmWave 포인트 클라우드 데이터에 기하학적 변환을 적용하여 회전 불변성을 확보한다.
• 분산된 다각도 센서에서 유래한 포인트 클라우드 데이터의 시공간적 의존성을 모델링하기 위해 그래프 기반 인코더를 제안한다.
• 다양한 시각에서의 데이터 융합을 위한 네 가지 다각도 학습 전략을 도입: 최대 풀링, 어텐션 풀링, 투표 풀링, 방향 추적.
• 센서 입력에 대해 상대적 방향에 따라 학습된 가중치를 할당하는 새로운 방향 추적 메커니즘을 제안한다.
• 8개의 각도에서 오픈소스 mmWave 레이더 플랫폼을 통해 수집한 실제 세계 데이터셋(25,000개 제스처 샘플)을 활용한다.

실험 결과

연구 질문

• RQ1 NR 사이드링크는 어떻게 효과적으로 이동통신 네트워크에서 장치 주도형으로 민감한 RF 센싱을 가능하게 할 수 있는가?
• RQ2 센서 방향은 사이드링크 기반 RF 센싱에서 제스처 인식 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 mmWave 포인트 클라우드 데이터에서 회전 불변성을 달성할 수 있는가? 이를 통해 방향 의존성을 완화할 수 있는가?
• RQ4 다양한 센서 구성 조건에서 가장 강력하고 정확한 제스처 인식을 제공하는 다각도 학습 전략은 무엇인가?
• RQ5 추론 도중 사용 가능한 센서의 수나 방향이 변화할 경우, 제안된 시스템은 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방향 추적 기법은 모든 테스트 각도 조합에서 평균 정확도가 가장 높으며, 모든 기준 대비 뛰어난 성능을 보였다.
• 추론 도중 이용 가능한 각도 수가 감소하더라도 시스템은 높은 성능을 유지하여 강력한 일반화 능력을 입증했다.
• 정확도의 표준편차는 각도 조합이 많아질수록 증가하여, 방향 지식이 최적 성능 달성에 핵심적임을 확인했다.
• 0°, 45°, 315°(전면 방향)에 위치한 레이더 센서가 제스처 인식에 가장 기여했으며, 180°(후면 방향) 센서는 뒷면에서 볼 수 있는 제스처를 제외하고는 영향이 낮았다.
• 단일 측 제스처의 경우, 움직임과 같은 측면에 위치한 센서가 더 중요한 영향을 미쳐 모델의 공간 민감도를 확인했다.
• 공개된 데이터셋과 코드베이스를 통해 재현 가능성을 확보하였으며, 향후 mmWave 센싱 분야의 연구를 가속화할 수 있었다.