[논문 리뷰] Edge Learning for B5G Networks with Distributed Signal Processing: Semantic Communication, Edge Computing, and Wireless Sensing

Wei Xu, Zhaohui Yang외 4명|arXiv (Cornell University)|2022. 06. 01.

Distributed Sensor Networks and Detection Algorithms인용 수 7

한 줄 요약

이 논문은 분산 신호 처리를 통해 의미 있는 통신, 엣지 컴퓨팅, 무선 센싱을 통합함으로써 범5G(B5G) 네트워크에서 엣지 학습(EL)을 위한 통합 프레임워크를 제안한다. 목표 지향적 소스 엔트로피 모델을 도입하고, 신호 전송 오버헤드를 줄이며 수렴성을 향상시키고, 네트워크 엣지에서 효율적이고 안전하며 저지연 인공지능을 실현하기 위해 통신-최적화 및 학습-최적화 설계를 공동으로 고려한다.

ABSTRACT

To process and transfer large amounts of data in emerging wireless services, it has become increasingly appealing to exploit distributed data communication and learning. Specifically, edge learning (EL) enables local model training on geographically disperse edge nodes and minimizes the need for frequent data exchange. However, the current design of separating EL deployment and communication optimization does not yet reap the promised benefits of distributed signal processing, and sometimes suffers from excessive signalling overhead, long processing delay, and unstable learning convergence. In this paper, we provide an overview on practical distributed EL techniques and their interplay with advanced communication optimization designs. In particular, typical performance metrics for dual-functional learning and communication networks are discussed. Also, recent achievements of enabling techniques for the dual-functional design are surveyed with exemplifications from the mutual perspectives of "communications for learning" and "learning for communications." The application of EL techniques within a variety of future communication systems are also envisioned for beyond 5G (B5G) wireless networks. For the application in goal-oriented semantic communication, we present a first mathematical model of the goal-oriented source entropy as an optimization problem. In addition, from the viewpoint of information theory, we identify fundamental open problems of characterizing rate regions for communication networks supporting distributed learning-and-computing tasks. We also present technical challenges as well as emerging application opportunities in this field, with the aim of inspiring future research and promoting widespread developments of EL in B5G.

연구 동기 및 목표

• 통신과 학습이 분리된 엣지 학습(EL) 시스템의 한계를 해결함으로써 높은 신호 전송 오버헤드와 느린 수렴 속도를 줄이기 위해.
• 분산 신호 처리를 EL과 통합하여 통신 효율성과 학습 정확도의 이중 기능적 성능 지표를 실현하기 위해.
• 목표 지향적 의미 있는 통신을 위한 수학적 모델을 개발하여 소스 엔트로피 최적화에 중점을 두기 위해.
• 정보이론적 관점에서 분산 학습 및 컴퓨팅 네트워크의 비율 영역을 특성화하는 데 있어 근본적인 열린 문제를 규명하기 위해.
• 통신 최적화 기법과 학습 기법 간의 상호보완적 관계를 탐색하여 확장 가능하고 안전하며 저지연 B5G 응용을 실현하기 위해.

제안 방법

• 분산 신호 처리를 활용하여 엣지 학습(EL), 의미 있는 통신, 무선 센싱을 통합하는 통합 프레임워크를 제안한다.
• 목표 지향적 소스 엔트로피의 기본 원리 수학 모델을 제안하여 의미 정보 왜곡을 최소화하는 최적화 문제로 정의한다.
• 두 가지 관점에서 기반 기술을 설문 조사한다: '학습을 위한 통신'(예: 빔포밍, 전력 제어, 자원 할당)과 '통신을 위한 학습'(예: 다중 에이전트 강화 학습, 피어드 페더레이티드 학습).
• 대역폭과 지연 제약 조건 하에서 피어드 페더레이티드 학습(FL)에서 무선 자원 할당과 모델 수렴 간의 상호작용을 분석한다.
• 이동성이 있는 다층 환경에서 동적 엣지 장치 참여를 고려한 이질적 B5G 네트워크에서 스펙트럼 효율성과 에너지 효율성의 비볼록 최적화 문제를 수립한다.
• 블록체인과 양자 컴퓨팅 개념을 통합하여 대규모 분산 네트워크에서 EL의 보안성과 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대역폭 제약 조건 하에서 엣지 학습에서 정보 손실를 최소화하기 위해 의미 있는 통신을 어떻게 수학적으로 모델링할 수 있는가?
• RQ2 분산 학습 및 컴퓨팅 작업을 지원하는 통신 네트워크의 기본 비율 영역은 무엇인가?
• RQ3 딥러닝을 통한 통합 소스-채널 부호화는 짧은 패킷, 저지연 엣지 통신 환경에서 성능을 어떻게 향상시킬 수 있는가?
• RQ4 다중 에이전트 강화 학습(MARL)은 신호 전송 오버헤드를 최소화하면서 어떻게 피어드 페더레이티드 학습의 무선 자원 할당을 최적화할 수 있는가?
• RQ5 엣지 장치 간 비독립 동일 분포(i.i.d.)가 아닌 데이터 분포는 어떻게 완화하여 안정적이고 정확한 모델 집합을 보장할 수 있는가?

주요 결과

• 제안된 목표 지향적 소스 엔트로피 모델은 엣지 학습 시스템에서 의미 정보 전송 최적화를 위한 이론적 기반을 제공한다.
• 딥러닝을 활용한 통합 소스-채널 부호화는 전통적인 분리 기반 접근 방식보다 짧은 패킷, 고속 이동성 B5G 환경에서 성능이 뛰어나다.
• 분산 신호 처리를 통해 통신과 학습의 이중 기능 최적화가 가능해져 신호 전송 오버헤드를 감소시키고 수렴 속도를 향상시킨다.
• 엣지 장치 간 비독립 동일 분포가 아닌 데이터 분포는 모델 성능을 심각하게 저하시키며, 이에 대응하기 위해 적응형 집합 기법이 필요하다.
• 다중 에이전트 강화 학습(MARL)은 저지연 제약 조건 하에서 피어드 페더레이티드 학습의 동적 무선 자원 할당에 대해 확장 가능한 해결책을 제공한다.
• 블록체인과 양자 컴퓨팅을 EL과 통합함으로써 대규모 분산 B5G 네트워크에서 보안성과 계산 효율성을 향상시킨다.