[論文レビュー] Distributed Heteromodal Split Learning for Vision Aided mmWave Received Power Prediction

Yusuke Koda, Jihong Park+4 more|arXiv (Cornell University)|Jul 16, 2020

Millimeter-Wave Propagation and Modeling参考文献 45被引用数 6

ひとこと要約

本稿では、複数のカメラからの視覚的情報とmmWave RF信号を統合することで、プライバシーを保ちながら正確な受信電力予測を実現する分散型異種モodalなスプリットラーニングフレームワーク、HetSLAggを提案する。画像の補間処理を基地局に移管する多様体ミックスアップと線形特徴統合を用いることで、ベースラインと比較して通信コストおよびエネルギー消費を20%以上削減し、精度の低下は1%未満に抑えられ、RF信号のみを用いる手法と比較して44%の誤差低減を達成した。

ABSTRACT

The goal of this work is the accurate prediction of millimeter-wave received power leveraging both radio frequency (RF) signals and heterogeneous visual data from multiple distributed cameras, in a communication and energy-efficient manner while preserving data privacy. To this end, firstly focusing on data privacy, we propose heteromodal split learning with feature aggregation (HetSLAgg) that splits neural network (NN) models into camera-side and base station (BS)-side segments. The BS-side NN segment fuses RF signals and uploaded image features without collecting raw images. However, the usage of multiple visual data leads to an increase in NN input dimensions, which gives rise to additional communication and energy costs. To overcome additional communication and energy costs due to image interpolation to blend different frame rates, we propose a novel BS-side manifold mixup technique that offloads the interpolation operations from cameras to a BS. Subsequently, we confront energy costs for operating a larger size of the BS- side NN segment due to concatenating image features across cameras and propose an energy-efficient aggregation method. This is done via a linear combination of image features instead of concatenating them, where the NN size is independent of the number of cameras. Comprehensive test-bed experiments with measured channels demonstrate that HetSLAgg reduces the prediction error by 44% compared to a baseline leveraging only RF received power. Moreover, the experiments show that the designed HetSLAgg achieves over 20% gains in terms of communication and energy cost reduction compared to several baseline designs within at most 1% of accuracy loss.

研究の動機と目的

• LoS/NLoS遷移が頻発する動的環境におけるmmWave受信電力予測の高精度化に挑戦する。
• 遮断や移動性を検出できる特徴を欠くRF信号のみの制限を克服する。
• 通信およびエネルギー効率の良い、異種の視覚的情報（RGB-Dカメラ）とRF信号の統合を可能にするとともに、データプライバシーを保護する。
• フレームレートや視野が異なる複数のカメラからの視覚的情報に起因する通信およびエネルギーオーバーヘッドを低減する。
• カメラ数の増加に伴い性能の低下やエネルギー消費の増加を回避する、スケーラブルな基地局側ニューラルネットワークの設計

提案手法

• データプライバシーを確保するため、生画像の送信ではなく隠れ層の活性化値のみを送信するように分割されたニューラルネットワークをカメラ側と基地局（BS）側に分割するスプリットラーニングフレームワーク、HetSLAggを提案する。
• カメラ側の計算負荷や通信負荷を増加させることなく、異種のフレームレート間の互換性を実現するため、基地局側で多様体ミックスアップを導入し、画像補間処理を基地局に移管する。
• 複数のカメラからの画像特徴を連結ではなく重み付き線形結合で統合する線形特徴統合法（MmixAgg）を提案し、カメラ数に関係なく基地局側ネットワークの入力次元を一定に保つ。
• 2段階のニューラルネットワークアーキテクチャを採用：カメラ側ネットワークがRFおよび視覚的情報から特徴を抽出し、基地局側ネットワークがこれらの特徴を統合して受信電力を予測する。
• 生データの送信を回避し、プライバシーを保護するため、基地局でRF信号特徴と画像特徴活性化値を特徴レベルで統合する。
• 特徴統合における次元制御により、基地局側全結合層のパラメータ数とメモリアクセス回数を最小化することで、エネルギー効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数の分散型カメラから得られる異種の視覚的情報とRF信号を統合することで、mmWave受信電力をより正確に予測する方法は何か？
• RQ2 多様なモダリティおよび異種の視覚的情報を統合する際、通信効率、エネルギー消費、予測精度の間にはどのようなトレードオフが生じるか？
• RQ3 分散型カメラから中央基地局に視覚的情報を送信する際、どのようにしてデータプライバシーを保護できるか？
• RQ4 異なるフレームレートを持つカメラからの視覚的情報補間に起因する通信およびエネルギーコストを低減するための技術は何か？
• RQ5 スケーラブルな特徴統合法により、カメラ数の増加に伴い基地局のニューラルネットワークのサイズおよびエネルギー消費が増加するのを防げるか？

主な発見

• HetSLAggは、RF受信電力のみを用いるベースラインと比較して、予測誤差を44%低減した。
• 提案された多様体ミックスアップに基づく補間処理により、ベースライン設計と比較して通信およびエネルギーコストを20%以上削減し、精度の低下は1%未満に抑えられた。
• 線形特徴統合法（MmixAgg）により、基地局側全結合層の入力次元が低減され、精度の著しい低下を伴わず、基地局の消費電力が低減された。
• 実験では、MmixAggがベースライン手法と比較して、特にフレームレートが低いカメラの観点から、送信遅延および消費電力が低減された。
• 異なる視野角やフレームレートを持つカメラからのデータ統合においても高い予測精度を維持しており、データの非均一性に対して高い耐性を示した。
• 本フレームワークはスケーラブルかつエネルギー効率に優れており、基地局側モデルのサイズがカメラ数に依存しないため、大規模なマルチカメラmmWaveシステムへの展開が可能である。