[논문 리뷰] An Overview on Over-the-Air Federated Edge Learning

Cao Xiaowen, Zhonghao Lyu외 4명|arXiv (Cornell University)|2022. 08. 11.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 통신 효율적인 프레임워크인 공중에서의 피드포워드 엣지 학습(Air-FEEL)에 대한 개요를 제시한다. Air-FEEL은 공중 계산(AirComp)을 활용하여 분산된 엣지 디바이스들로부터 모델 기울기들을 동시에 한 번에 집계함으로써 지연 시간을 크게 감소시키고 데이터 프라이버시를 향상시킨다. 주요 기여는 최신 기술의 체계화, 집계 오차 및 디바이스 이질성과 같은 핵심 과제의 규명, 그리고 6G 네트워크에서 확장 가능하고 에너지 효율적이며 안전한 엣지 AI를 위한 고도화된 최적화 기법과 향후 연구 방향의 제시이다.

ABSTRACT

Over-the-air federated edge learning (Air-FEEL) has emerged as a promising solution to support edge artificial intelligence (AI) in future beyond 5G (B5G) and 6G networks. In Air-FEEL, distributed edge devices use their local data to collaboratively train AI models while preserving data privacy, in which the over-the-air model/gradient aggregation is exploited for enhancing the learning efficiency. This article provides an overview on the state of the art of Air-FEEL. First, we present the basic principle of Air-FEEL, and introduce the technical challenges for Air-FEEL design due to the over-the-air aggregation errors, as well as the resource and data heterogeneities at edge devices. Next, we present the fundamental performance metrics for Air-FEEL, and review resource management solutions and design considerations for enhancing the Air-FEEL performance. Finally, several interesting research directions are pointed out to motivate future work.

연구 동기 및 목표

• 6G 및 그 이상의 네트워크에서 저지연, 프라이버시 보장형 AI를 위한 확장 가능한 솔루션으로서 공중에서의 피드포워드 엣지 학습(Air-FEEL)에 대한 종합적인 개요를 제공하는 것.
• Air-FEEL 설계에서의 핵심 기술적 과제, 즉 공중 집계 오차, 엣지 디바이스에서의 자원 및 데이터 이질성, 시스템 확장성 등을 규명하고 분석하는 것.
• 공기 중 집계 성능 향상을 위한 고급 최적화 기법—예를 들어 전력 제어, 빔포밍, 사용자 스케줄링, 대규모 네트워크 아키텍처—를 검토하는 것.
• 에너지 수확, 무선 전력 전송, 통합 감지 및 통신(ISAC)과 같은 새로운 연구 방향을 강조하여 지속 가능하고 지능적인 엣지 네트워크를 실현하는 것.

제안 방법

• Air-FEEL은 무선 다중 액세스 채널 상에서 공중 계산(AirComp)을 활용하여 다수의 엣지 디바이스들로부터 동시에 한 번에 기울기 집계를 가능하게 하며, 무선 매체의 중첩 성질을 이용한다.
• 시스템은 두 단계 반복 프로세스를 사용한다: (1) 엣지 서버에서 디바이스들로의 글로벌 모델 브로드캐스트, (2) 엣지 서버에서의 공중 집계를 위한 업링크 동시 전송으로 국소 기울기 또는 모델 전송.
• 두 가지 주요 변종이 사용된다: 한 라운드당 한 번의 국소 업데이트를 수행하는 Air-FedSGD와 다수의 국소 업데이트를 수행하는 Air-FedAvg로, 모두 효율적인 기울기 집계를 위해 AirComp에 의존한다.
• 공중 집계 오차를 완화하기 위해, 수신기에서 신호의 진폭과 위상을 일치시키기 위해 전력 제어 및 빔포밍 기법을 적용한다.
• 대규모 배포를 위해 계층형 및 디바이스 간 통신(D2D) 기반 Air-FEEL 아키텍처가 제안되어 클러스터 또는 셀 간의 다중 수준 집계를 가능하게 하여 백홀 부하를 감소시키고 확장성을 향상시킨다.
• 보안성과 강건성을 향상시키기 위해 바이저랜트에 강건한 집계 기법을 적용하여 악성 업데이트를 탐지하고 완화하지만, 통신 오버헤드가 증가하는 단점이 있다.

실험 결과

연구 질문

• RQ1 공중 계산을 효과적으로 활용하여 피드포워드 엣지 학습에서 통신 지연을 줄이면서도 모델 정확도를 유지할 수 있는 방법은 무엇인가?
• RQ2 공중 모델 집계에서 주요 오차 원인은 무엇이며, 신호 설계 및 자원 할당을 통해 이를 어떻게 완화할 수 있는가?
• RQ3 분산된 엣지 디바이스들 사이의 자원 및 데이터 이질성을 어떻게 다루어 Air-FEEL 시스템의 수렴성과 공정성을 확보할 수 있는가?
• RQ4 대규모 밀집 네트워크에 대응하기 위한 최적의 시스템 아키텍처—예를 들어 계층형 또는 D2D 기반 아키텍처—는 무엇인가?
• RQ5 에너지 수확, 무선 전력 전송, 통합 감지 및 통신(ISAC)과 같은 신기술을 Air-FEEL과 함께 최적화하여 지속 가능하고 저지연 엣지 지능을 실현할 수 있는가?

주요 결과

• Air-FEEL은 기존의 피드포워드 학습 대비 참여하는 디바이스 수와 동일한 요소의 통신 지연 감소를 달성한다. 이는 한 번의 집계로 인한 공중 집계 덕분이다.
• 공중 집계는 개별 기울기를 집합 신호 내에 은폐함으로써 본질적으로 데이터 프라이버시를 향상시킨다. 이로 인해 도청이 효과를 잃는다.
• 전력 제어 및 빔포밍 기법은 공중 집계 오차를 크게 감소시켜 이질적인 디바이스 환경에서 수렴 속도와 모델 정확도를 향상시킨다.
• 계층형 및 D2D Air-FEEL 아키텍처는 대규모 네트워크에서의 확장 가능한 구현을 가능하게 하며 백홀 부하를 감소시키고 탈중앙화된 조율을 지원한다.
• 에너지 수확 및 무선 전력 전송과의 통합은 엣지 디바이스의 지속 가능한 배터리 없는 운영을 가능하게 하여 원거리 또는 인fra구조가 부족한 환경에서 장기적인 구현을 지원한다.
• Air-FEEL과 ISAC를 결합하면 감지 및 모델 업데이트 전송을 동시에 수행할 수 있어 초저지연의 '감지-통신-계산' 파이프라인을 실현할 수 있으며, 지능형 응용 프로그램에 기여한다.