[논문 리뷰] Privacy For Free: Wireless Federated Learning Via Uncoded Transmission With Adaptive Power Control

Dongzhu Liu, Osvaldo Simeone|arXiv (Cornell University)|2020. 06. 09.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 8

한 줄 요약

이 논문은 비코드 전송 및 적응형 전력 제어를 사용하는 프라이버시 보장 무선 피어드 페더레이티드 러닝 프레임워크를 제안하며, 신호 대 잡음비(SNR)가 충분히 낮을 경우 채널 잡음이 자연스럽게 차별적 프라이버시를 '무료'로 제공할 수 있음을 입증한다. 주요 기여는 프라이버시 및 전력 제약 조건 하에서 학습 최적성 갭을 최소화하는 폐쇄형 최적 전력 할당 전략을 제공하는 것으로, NOMA를 통한 성능 향상과 동적 전력 제어를 통해 기대되는 성능 향상이 있다.

ABSTRACT

Federated Learning (FL) refers to distributed protocols that avoid direct raw data exchange among the participating devices while training for a common learning task. This way, FL can potentially reduce the information on the local data sets that is leaked via communications. In order to provide formal privacy guarantees, however, it is generally necessary to put in place additional masking mechanisms. When FL is implemented in wireless systems via uncoded transmission, the channel noise can directly act as a privacy-inducing mechanism. This paper demonstrates that, as long as the privacy constraint level, measured via differential privacy (DP), is below a threshold that decreases with the signal-to-noise ratio (SNR), uncoded transmission achieves privacy "for free", i.e., without affecting the learning performance. More generally, this work studies adaptive power allocation (PA) for decentralized gradient descent in wireless FL with the aim of minimizing the learning optimality gap under privacy and power constraints. Both orthogonal multiple access (OMA) and non-orthogonal multiple access (NOMA) transmission with "over-the-air-computing" are studied, and solutions are obtained in closed form for an offline optimization setting. Furthermore, heuristic online methods are proposed that leverage iterative one-step-ahead optimization. The importance of dynamic PA and the potential benefits of NOMA versus OMA are demonstrated through extensive simulations.

연구 동기 및 목표

• 채널 잡음을 자연스러운 프라이버시 메커니즘으로 활용하여 학습 성능을 희생시키지 않고도 무선 페더레이티드 러닝에서 프라이버시를 실현하고자 한다.
• 차별적 프라이버시(DP) 및 총 전력 제약 조건 하에서 학습 최적성 갭을 최소화하는 최적의 적응형 전력 제어 전략을 설계하고자 한다.
• 무선 FL의 오버-the-어웨이 아그리게이션에서 정규화(OMA) 및 비정규화(NOMA) 다중접근 방식의 성능을 비교하고자 한다.
• 실제 구현을 위한 오프라인 폐쇄형 해법과 온라인 히우리스틱 방법을 개발하고자 한다.

제안 방법

• 차별적 프라이버시 및 전력 제약 조건 하에서 최적 전송 전력 및 빔포밍 계수에 대한 폐쇄형 해를 도출하기 위해 라그랑주 이중성 기반의 오프라인 최적화 프레임워크를 제안한다.
• 채널 이득, 기울기 노름, 프라이버시 요구사항을 기반으로 동적으로 전력을 할당하는 새로운 적응형 전력 제어 전략을 도입하여 학습 최적성 갭을 최소화한다.
• 카슈-쿤-터커(KKT) 조건을 통해 최적성의 필요 조건을 유도하고, 프라이버시 제약 조건과 관련된 라그랑주 승수에 대한 이분법 검색을 통해 최적 전력 할당을 해결한다.
• 다중접근 채널에서 웨이브폼 중첩을 통한 오버-the-어웨이 계산(OAC)을 활용하여 자연스러운 채널 잡음으로 인해 기울기 집계와 프라이버시를 동시에 구현한다.
• 시간에 따라 변하는 채널과 동적 학습 진도에 적응하기 위해 1단계 앞서 미리 최적화하는 반복 기반의 히우리스틱 온라인 방법을 제안한다.
• 프라이버시 제약 조건은 차별적 프라이버시(DP)를 통해 측정되며, 프라이버시 예산은 채널 fading과 전송 전력에 의해 유도되는 효과적 잡음 전력과 연결된다.

실험 결과

연구 질문

• RQ1 무선 fading 채널의 채널 잡음이 추가적인 노이즈 주입 없이도 페더레이티드 러닝에서 차별적 프라이버시를 달성하는 데 자연스러운 메커니즘으로 기능할 수 있는가?
• RQ2 무선 FL에서 비코드 전송가 어떤 신호 대 잡음비(SNR) 조건에서 학습 성능 저하 없이 프라이버시를 '무료'로 달성할 수 있는가?
• RQ3 적응형 전력 제어는 프라이버시 및 총 전력 제약 조건 하에서 학습 최적성 갭을 어떻게 향상시키는가?
• RQ4 적응형 전력 제어를 통한 무선 페더레이티드 러닝에서 NOMA는 OMA에 비해 어떤 성능 향상을 보이는가?
• RQ5 동적 무선 환경에서 온라인 히우리스틱 전력 제어 전략은 오프라인 최적 해법 대비 얼마나 효과적인가?

주요 결과

• 필요한 차별적 프라이버시 수준이 신호 대 잡음비(SNR)가 감소함에 따라 감소하는 임계값 이하일 경우, 프라이버시가 '무료'로 달성되며, 이는 SNR가 충분히 낮을 경우 성능 손실이 발생하지 않음을 의미한다.
• 제안된 폐쇄형 적응형 전력 제어 전략은 프라이버시 및 전력 제약 조건 하에서 최적의 학습 성능을 달성하며, 채널 이득과 기울기 노름에 명시적인 의존성을 보인다.
• NOMA는 더 높은 스펙트럼 효율성과 더 효과적인 전력 할당 덕분에 OMA보다 학습 성능에서 뛰어나며, 특히 고속 이동성 또는 고밀도 디바이스 환경에서 유리하다.
• 동적 전력 제어는 고정 전력 할당 대비 학습 수렴을 크게 향상시키며, 다양한 SNR 및 채널 조건에서 광범위한 시뮬레이션을 통해 확인되었다.
• 최적 전력 할당은 프라이버시 예산, 채널 품질, 기울기 크기의 함수로 유도되었으며, 전력 및 프라이버시 누출 제약 조건에 의해 제한된다.
• 요구되는 프라이버시 예산이 높을 경우(즉, 낮은 프라이버시 누출일 경우), 최적 전력 할당은 기울기 정보를 가리기 위해 필요한 최소 전력에 의해 제약을 받으며, 프라이버시 요구가 낮을 경우 전력은 채널 품질과 학습 진도에 따라 할당된다.