[논문 리뷰] Distributed Heteromodal Split Learning for Vision Aided mmWave Received Power Prediction

Yusuke Koda, Jihong Park외 4명|arXiv (Cornell University)|2020. 07. 16.

Millimeter-Wave Propagation and Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 mmWave RF 신호와 다수의 카메라에서 얻은 시각 데이터를 융합하여 수신 전력 예측을 정확하게 수행하면서도 개인정보를 보호하는 분산 이종모odal 분할 학습 프레임워크인 HetSLAgg를 제안한다. 매니폴드 믹업을 통해 기지국에 영상 보간을 이관하고 선형 특징 융합 기법을 사용함으로써, 기준 대비 20퍼센트 이상의 통신 및 에너지 비용 절감과 1퍼센트 미만의 정확도 손실을 달성하며, RF 전용 방법 대비 44퍼센트의 오차 감소를 이룬다.

ABSTRACT

The goal of this work is the accurate prediction of millimeter-wave received power leveraging both radio frequency (RF) signals and heterogeneous visual data from multiple distributed cameras, in a communication and energy-efficient manner while preserving data privacy. To this end, firstly focusing on data privacy, we propose heteromodal split learning with feature aggregation (HetSLAgg) that splits neural network (NN) models into camera-side and base station (BS)-side segments. The BS-side NN segment fuses RF signals and uploaded image features without collecting raw images. However, the usage of multiple visual data leads to an increase in NN input dimensions, which gives rise to additional communication and energy costs. To overcome additional communication and energy costs due to image interpolation to blend different frame rates, we propose a novel BS-side manifold mixup technique that offloads the interpolation operations from cameras to a BS. Subsequently, we confront energy costs for operating a larger size of the BS- side NN segment due to concatenating image features across cameras and propose an energy-efficient aggregation method. This is done via a linear combination of image features instead of concatenating them, where the NN size is independent of the number of cameras. Comprehensive test-bed experiments with measured channels demonstrate that HetSLAgg reduces the prediction error by 44% compared to a baseline leveraging only RF received power. Moreover, the experiments show that the designed HetSLAgg achieves over 20% gains in terms of communication and energy cost reduction compared to several baseline designs within at most 1% of accuracy loss.

연구 동기 및 목표

• 자주 발생하는 LOS/NLoS 전환을 동반하는 동적 환경에서 정확한 mmWave 수신 전력 예측에 도전한다.
• 장애물 이동성을 탐지할 수 있는 특징가 없는 RF 전용 신호의 한계를 극복한다.
• 통신 및 에너지 효율적인 이종 시각 데이터(RGB-D 카메라)와 RF 신호의 융합을 가능하게 하되, 데이터 프라이버시를 유지한다.
• 다양한 프레임 레이트와 시야를 가진 다중 카메라 시각 데이터로 인한 통신 및 에너지 오버헤드를 줄인다.
• 카메라 수 증가에 따라 성능 저하와 에너지 비용 증가 없이도 확장 가능한 기지국 측 신경망 아키텍처를 설계한다.

제안 방법

• 원시 이미지가 아닌 은닉층 활성화값만을 전송함으로써 데이터 프라이버시를 보장하는 분할 학습 프레임워크인 HetSLAgg를 제안하며, 신경망을 카메라 측과 기지국(BS) 측으로 분할한다.
• 카메라 측의 계산 및 통신 부담을 증가시키지 않고도 이질적인 프레임 레이트 간의 호환성을 확보하기 위해, BS 측에서 매니폴드 믹업을 도입하여 영상 보간을 기지국으로 이관한다.
• 카메라 수에 관계없이 BS 측 네트워크의 입력 차원을 일정하게 유지하기 위해, 연결 대신 가중치가 부여된 선형 조합을 통한 다중 카메라 이미지 특징 융합 방법(MmixAgg)을 개발한다.
• 두 단계 신경망 아키텍처를 사용한다: 카메라 측 네트워크는 RF 및 시각 데이터로부터 특징을 추출하고, BS 측 네트워크는 이러한 특징을 융합하여 수신 전력을 예측한다.
• 원시 데이터 전송을 피하기 위해, BS에서 RF 신호 특징과 이미지 특징 활성화값을 특징 수준에서 융합함으로써 개인정보 보호를 실현한다.
• 특징 융합 단계에서 차원 조절을 통해 BS 측 완전 연결층의 파라미터 수와 메모리 액세스 횟수를 최소화함으로써 에너지 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 분산 카메라에서 온 이종 시각 데이터와 RF 신호를 융합함으로써 mmWave 수신 전력을 더 정확하게 예측할 수 있는 방법은 무엇인가?
• RQ2 다양한 모odal의 이종 시각 데이터를 통합할 때, 통신 효율성, 에너지 소비 및 예측 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ3 중앙 기지국으로 분산 카메라에서 시각 데이터를 전송할 경우 개인정보 보호는 어떻게 유지할 수 있는가?
• RQ4 다른 프레임 레이트를 가진 카메라에서의 시각 데이터 보간과 관련된 통신 및 에너지 비용을 줄일 수 있는 기법은 무엇인가?
• RQ5 확장 가능한 특징 융합 방법은 카메라 수 증가에 따라 기지국의 신경망 크기와 에너지 비용이 증가하는 것을 방지할 수 있는가?

주요 결과

• HetSLAgg는 오직 RF 수신 전력만을 사용하는 기준 대비 예측 오차를 44퍼센트 감소시켰다.
• 제안된 매니폴드 믹업 기반 보간 기법은 기준 설계 대비 통신 및 에너지 비용을 20퍼센트 이상 절감했으며, 정확도 손실은 1퍼센트 미만이었다.
• 선형 특징 융합 방법(MmixAgg)은 BS 측 완전 연결층의 입력 차원을 감소시켜 정확도를 크게 떨어뜨리지 않으면서도 기지국의 전력 소비를 낮추었다.
• 실험 결과 MmixAgg 기법은 전송 지연과 전력 소비가 기준 방법보다 낮았으며, 특히 계산 부담이 적은 낮은 프레임 레이트 카메라에게 유리한 성능을 보였다.
• 다양한 시야와 프레임 레이트를 가진 카메라의 데이터 융합에서도 높은 예측 정확도를 유지하여 데이터 이질성에 대한 강건성을 입증했다.
• 이 프레임워크는 확장 가능하고 에너지 효율적이며, BS 측 모델 크기가 카메라 수에 영향을 받지 않아 대규모 다중 카메라 mmWave 시스템에의 구현을 가능하게 한다.