[논문 리뷰] A Lite Distributed Semantic Communication System for Internet of Things

Huiqiang Xie, Zhijin Qin|arXiv (Cornell University)|2020. 07. 21.

Wireless Signal Modulation Classification참고 문헌 37인용 수 11

한 줄 요약

이 논문은 구조적 프루닝, 저정밀도 양자화(최소 4비트), 그리고 CSI 보조 학습을 통합하여 의미 수준 전송와 모델 압축을 공동 최적화하는 경량 분산 의미 통신 시스템인 L-DeepSC를 제안한다. L-DeepSC는 성능 손실가 최소화되면서도 최대 80배의 압축 비율을 달성하며, 특히 저 SNR 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

The rapid development of deep learning (DL) and widespread applications of Internet-of-Things (IoT) have made the devices smarter than before, and enabled them to perform more intelligent tasks. However, it is challenging for any IoT device to train and run DL models independently due to its limited computing capability. In this paper, we consider an IoT network where the cloud/edge platform performs the DL based semantic communication (DeepSC) model training and updating while IoT devices perform data collection and transmission based on the trained model. To make it affordable for IoT devices, we propose a lite distributed semantic communication system based on DL, named L-DeepSC, for text transmission with low complexity, where the data transmission from the IoT devices to the cloud/edge works at the semantic level to improve transmission efficiency. Particularly, by pruning the model redundancy and lowering the weight resolution, the L-DeepSC becomes affordable for IoT devices and the bandwidth required for model weight transmission between IoT devices and the cloud/edge is reduced significantly. Through analyzing the effects of fading channels in forward-propagation and back-propagation during the training of L-DeepSC, we develop a channel state information (CSI) aided training processing to decrease the effects of fading channels on transmission. Meanwhile, we tailor the semantic constellation to make it implementable on capacity-limited IoT devices. Simulation demonstrates that the proposed L-DeepSC achieves competitive performance compared with traditional methods, especially in the low signal-to-noise (SNR) region. In particular, while it can reach as large as 40x compression ratio without performance degradation.

연구 동기 및 목표

• 클라우드/에지에서의 모델 학습 오프로딩을 통해 전력 및 계산 자원이 제한된 IoT 기기에서 딥러닝 모델을 구현하는 데 도전 과제를 해결한다.
• 모델 압축 기법을 통해 IoT 기기와 클라우드/에지 간의 모델 가중치 전송에 대한 대역폭과 지연을 줄인다.
• 채널 상태 정보(CSI)를 학습 과정에 통합하여 퇴색하는 무선 채널에서의 전송 견고성을 향상시킨다.
• 저성능 IoT 기기에서 의미 통신을 구현할 수 있도록 경량 의미 체계 매핑을 설계한다.
• 특히 저 신호 대 잡음비(SNR) 환경에서 성능 저하 없이 고압축 비율을 달성한다.

제안 방법

• IoT 기기들이 원시 데이터가 아닌 의미 수준의 표현을 전송하는 경량 분산 의미 통신 시스템(L-DeepSC)을 제안하여 대역폭 사용을 줄인다.
• 깊은 신경망의 부과적인 연결을 제거하기 위해 구조적 가중치 프루닝을 적용하여 모델 크기와 계산 부담을 감소시킨다.
• 모델 가중치를 추가로 압축하고 전송 오버헤드를 줄이기 위해 저정밀도 양자화(32비트에서 최소 4비트까지)를 구현한다.
• 학습 중 전방 및 역전파 과정에서 퇴색 채널의 영향을 완화하기 위해 파ilot 오버헤드를 감소시킨 개선된 최소 제곱(LS) 채널 추정기를 도입한다.
• 하드웨어 복잡성을 줄이고 저가형 IoT 기기에서의 구현 가능성을 높이기 위해 고해상도 의미 체계를 유한 비트 체계로 매핑한다.
• CSI 피드백을 통한 엔드 투 엔드 학습과 역전파를 통해 의미 충실도를 공동 최적화하는 수신기 및 특징 추출기 설계를 수행한다.

실험 결과

연구 질문

• RQ1 모델 압축을 통해 자원이 제한된 IoT 기기에서 딥러닝 기반 의미 통신을 어떻게 구현할 수 있는가?
• RQ2 무선 퇴색 채널이 분산 의미 통신 시스템의 학습에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 모델 프루닝과 양자화를 얼마나 적용할 수 있으며, 높은 압축 비율을 달성하면서도 의미 성능을 유지할 수 있는가?
• RQ4 제안된 CSI 보조 학습 과정이 저 SNR 및 퇴색 환경에서 모델의 견고성을 어떻게 향상시키는가?
• RQ5 분산 IoT 환경에서의 압축 비율, 희박성 비율, 양자화 비트 폭, 의미 성능(BLEU 점수로 측정) 간의 상호 상충 관계는 어떠한가?

주요 결과

• L-DeepSC는 90% 프루닝과 12비트 양자화를 통해 최대 80배의 압축 비율을 달성했으며, 12 dB SNR에서 BLEU 점수 0.898784를 유지한다.
• 40배 압축 비율(90% 프루닝 및 16비트 양자화)에서도 BLEU 점수 0.910554를 유지하여 성능 저하가 극히 미미함을 입증한다.
• 저 SNR 환경에서 기존 방법보다 뛰어난 성능을 보이며, 도전적인 채널 조건에서도 뚜렷한 성능 향상을 보인다.
• 60% 프루닝과 8비트 양자화를 적용할 경우 모델 크기는 12.3 MB에서 1.28 MB로 감소하고, 런타임은 20ms에서 18ms로 단축되어 IoT 기기에서의 효율적 구현이 가능해진다.
• 다양한 압축 설정에서 BLEU 점수가 안정적으로 유지되어 고압축을 달성하면서도 의미 충실도를 손상시키지 않는다는 것을 보여준다.
• CSI 보조 학습 과정은 퇴색 채널이 가중치 업데이트에 악영향을 미치는 것을 효과적으로 완화하여 모델 수렴성과 견고성을 향상시킨다.