[論文レビュー] A Lite Distributed Semantic Communication System for Internet of Things

Huiqiang Xie, Zhijin Qin|arXiv (Cornell University)|Jul 21, 2020

Wireless Signal Modulation Classification参考文献 37被引用数 11

ひとこと要約

本稿では、構造的プルーニング、低精度量子化（4ビットまで）、およびCSI支援学習を組み合わせることで、セマンティックレベルの伝送とモデル圧縮を共同最適化する、IoT向けの軽量分散型セマンティック通信システムL-DeepSCを提案する。L-DeepSCは、性能損失が最小限に抑えられる一方で、最大80倍の圧縮比を達成し、特に低SNR環境下で優れた性能を発揮する。

ABSTRACT

The rapid development of deep learning (DL) and widespread applications of Internet-of-Things (IoT) have made the devices smarter than before, and enabled them to perform more intelligent tasks. However, it is challenging for any IoT device to train and run DL models independently due to its limited computing capability. In this paper, we consider an IoT network where the cloud/edge platform performs the DL based semantic communication (DeepSC) model training and updating while IoT devices perform data collection and transmission based on the trained model. To make it affordable for IoT devices, we propose a lite distributed semantic communication system based on DL, named L-DeepSC, for text transmission with low complexity, where the data transmission from the IoT devices to the cloud/edge works at the semantic level to improve transmission efficiency. Particularly, by pruning the model redundancy and lowering the weight resolution, the L-DeepSC becomes affordable for IoT devices and the bandwidth required for model weight transmission between IoT devices and the cloud/edge is reduced significantly. Through analyzing the effects of fading channels in forward-propagation and back-propagation during the training of L-DeepSC, we develop a channel state information (CSI) aided training processing to decrease the effects of fading channels on transmission. Meanwhile, we tailor the semantic constellation to make it implementable on capacity-limited IoT devices. Simulation demonstrates that the proposed L-DeepSC achieves competitive performance compared with traditional methods, especially in the low signal-to-noise (SNR) region. In particular, while it can reach as large as 40x compression ratio without performance degradation.

研究の動機と目的

• クラウド/エッジにモデル学習のオフロードを可能にすることで、電力および計算リソースが制限されたIoTデバイスへのディープラーニングモデルの導入を課題として解決する。
• モデル圧縮技術を用いて、IoTデバイスとクラウド/エッジ間のモデル重み伝送にかかる帯域幅と遅延を低減する。
• 訓練プロセスにチャネル状態情報（CSI）を組み込むことで、フェージング無線チャネルにおける伝送のロバスト性を向上させる。
• 低能力なIoTデバイスでも実装可能な軽量なセマンティックスターリングマッピングを設計する。
• 特に低信号対雑音比（SNR）環境下で、性能劣化を伴わず高い圧縮比を達成する。

提案手法

• IoTデバイスが生データの代わりにセマンティックレベルの表現を送信する、軽量な分散型セマンティック通信システム（L-DeepSC）を提案する。これにより帯域幅の使用が削減される。
• 深層ニューラルネットワーク内の冗長な接続を削除する構造的重みプルーニングを適用し、モデルサイズと計算負荷を低減する。
• 32ビットから4ビットまで低くした低精度量子化を実装し、さらにモデル重みの圧縮と伝送オーバーヘッドの低減を図る。
• パイロットオーバーヘッドを削減した洗練された最小二乗法（LS）チャネル推定器を導入し、学習中の前向きおよび逆伝搬プロセスにおいてフェージングチャネルの影響を軽減する。
• フル解像度のセマンティックスターリングを有限ビットのスターリングにマッピングすることで、ハードウェアの複雑さを低減し、低価格なIoTデバイスでの実装を可能にする。
• CSIフィードバックを活用したエンドツーエンドのバックプロパゲーション学習により、セマンティック忠実度を最適化する受信機と特徴抽出器を共同で最適化する。

実験結果

リサーチクエスチョン

• RQ1 モデル圧縮技術を用いて、リソース制限のあるIoTデバイス上でディープラーニングベースのセマンティック通信をどのように実現できるか？
• RQ2 フェージング無線チャネルが分散型セマンティック通信システムの学習に与える影響は何か？ また、その影響をどのように軽減できるか？
• RQ3 モデルプルーニングと量子化をどれほど適用すれば、高い圧縮比を達成しながらセマンティック性能を維持できるか？
• RQ4 提案されたCSI支援学習プロセスは、低SNRおよびフェージング環境下でモデルのロバスト性をどのように向上させるか？
• RQ5 分散型IoT環境下において、圧縮比、スパarsity比、量子化ビット幅、およびセマンティック性能（BLEUスコアで測定）の間にはどのようなトレードオフがあるか？

主な発見

• L-DeepSCは、12 dB SNRで90%のプルーニングと12ビット量子化を用いることで最大80倍の圧縮比を達成し、BLEUスコアは0.898784を維持する。
• 40倍の圧縮比（90%プルーニングと16ビット量子化）でも、BLEUスコアは0.910554を維持し、性能劣化が最小限であることが示された。
• 低SNR領域において従来手法を上回る性能を発揮し、特にチャネル状態が厳しい環境下で顕著な向上が観察された。
• 60%のプルーニングと8ビット量子化を適用した場合、モデルサイズは12.3 MBから1.28 MBに削減され、実行時間は20msから18msに短縮され、IoTデバイスへの効率的なデプロイが可能になった。
• さまざまな圧縮設定においてBLEUスコアが安定しており、高い圧縮比を達成してもセマンティック忠実度が損なわれないことが示された。
• CSI支援学習プロセスにより、フェージングチャネルが重み更新に与える悪影響が効果的に軽減され、モデルの収束性とロバスト性が向上した。