[논문 리뷰] On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks

Minsu Kim, Walid Saad외 2명|arXiv (Cornell University)|2021. 11. 15.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 무선 네트워크에서 정밀도, 정확도 및 에너지 소비를 공동으로 관리함으로써 에너지 효율성을 최적화하는 양자화된 플러드러티드 러닝(FL) 프레임워크를 제안한다. 정밀도를 고정한 양자화된 신경망(QNN)을 사용하여 현지 학습 및 업링크 전송의 에너지 비용을 모델링하고, 수렴성을 확보하면서 총 에너지를 최소화하기 위해 선형 탐색 방법을 적용함으로써, 표준 32비트 FL 대비 최대 53%의 에너지 절감을 달성한다. 특히 대규모 모델에서 뚜렷한 효과를 보인다.

ABSTRACT

Deploying federated learning (FL) over wireless networks with resource-constrained devices requires balancing between accuracy, energy efficiency, and precision. Prior art on FL often requires devices to train deep neural networks (DNNs) using a 32-bit precision level for data representation to improve accuracy. However, such algorithms are impractical for resource-constrained devices since DNNs could require execution of millions of operations. Thus, training DNNs with a high precision level incurs a high energy cost for FL. In this paper, a quantized FL framework, that represents data with a finite level of precision in both local training and uplink transmission, is proposed. Here, the finite level of precision is captured through the use of quantized neural networks (QNNs) that quantize weights and activations in fixed-precision format. In the considered FL model, each device trains its QNN and transmits a quantized training result to the base station. Energy models for the local training and the transmission with the quantization are rigorously derived. An energy minimization problem is formulated with respect to the level of precision while ensuring convergence. To solve the problem, we first analytically derive the FL convergence rate and use a line search method. Simulation results show that our FL framework can reduce energy consumption by up to 53% compared to a standard FL model. The results also shed light on the tradeoff between precision, energy, and accuracy in FL over wireless networks.

연구 동기 및 목표

• 에너지 제약이 있는 무선 네트워크에서 에너지 효율성, 정밀도 및 정확도를 균형 있게 유지하는 문제를 해결하기 위해.
• 양자화된 FL에서 현지 학습 및 업링크 전송의 에너지 비용을 모두 고려한 통합 모델을 개발하기 위해.
• 목표 정확도 및 수렴성을 유지하면서 총 에너지 소비를 최소화하기 위해 QNN의 정밀도 수준을 최적화하기 위해.
• 자원 제약이 있는 장치를 갖춘 무선 플러드러티드 러닝에서 정밀도, 에너지 및 정확도 간의 상호작용을 체계적으로 분석하기 위해.

제안 방법

• 현지 학습 및 업링크 전송 모두에서 정밀도가 고정된 QNN를 사용하는 양자화된 FL 프레임워크를 제안하며, 여기서 가중치와 활성화 값이 모두 양자화된다.
• 처리 칩의 물리적 구조를 기반으로 한 엄밀한 현지 학습 에너지 모델을 개발하여 계산 및 메모리 액세스 비용을 포괄한다.
• 양자화를 고려한 업링크 전송 에너지 모델을 유도하며, 정밀도가 데이터 크기 및 전송 에너지에 미치는 영향을 포함한다.
• 양자화 오차와 모델 크기를 포함한 분석식을 사용하여 양자화된 FL 시스템의 수렴 속도를 분석한다.
• 수렴성 및 정확도 제약 조건을 충족시키면서 정밀도 수준에 따라 총 에너지 소비를 최소화하는 문제를 수립하고, 선형 탐색 방법을 통해 이를 해결한다.
• 총 에너지를 최소화하면서 목표 정확도에 수렴하도록 보장하는 최적의 정밀도 수준을 찾기 위해 선형 탐색 알고리즘을 사용한다.

Figure 1: An illustration of the quantized FL model over wireless network.

실험 결과

연구 질문

• RQ1 목표 정확도에 수렴하면서 총 에너지 소비를 최소화하는 데 최적의 정밀도 수준은 무엇인가?
• RQ2 양자화는 플러드러티드 러닝의 수렴 속도에 어떤 영향을 미치며, 이를 분석적으로 어떻게 모델링할 수 있는가?
• RQ3 자원 제약이 있는 장치를 갖춘 무선 플러드러티드 러닝에서 에너지 효율성, 정밀도 및 정확도 간의 상호작용은 어떠한가?
• RQ4 현지 반복 횟수는 에너지 최소화를 위한 최적의 정밀도 수준에 어떤 영향을 미치는가?
• RQ5 모델 크기는 양자화된 FL에서 요구되는 정밀도 수준과 총 에너지 소비에 어떤 영향을 미치는가?

주요 결과

• 제안된 양자화된 FL 프레임워크는 표준 32비트 플러드러티드 러닝 대비 총 에너지 소비를 최대 53%까지 절감하며, 특히 대규모 모델에서 뚜렷한 효과를 보인다.
• 138.6M 파라미터를 갖는 CNN(사례 5)의 경우 최적의 정밀도 수준은 15비트로 확인되었으며, 이는 최대 에너지 절감을 달성한다.
• 모델 크가 증가함에 따라 최적의 정밀도 수준도 증가한다. 이는 더 큰 모델에서 더 많은 양자화 오차가 누적되기 때문에, 수렴성을 유지하기 위해 더 높은 정밀도가 필요하기 때문이다.
• 현지 반복 횟수가 증가할수록 최적의 정밀도 수준도 증가한다. 이는 반복 횟수가 많아질수록 기울기 평균화로 인해 양자화 오차의 영향이 감소하기 때문이다.
• 목표 정확도를 10배 향상시킬 경우(ε=0.01에서 ε=0.001로), 추가로 127 J의 에너지 소비와 1비트의 정밀도 증가가 필요하다.
• 정밀도 수준이 증가함에 따라 에너지 소비는 처음에는 감소하다가 다시 증가하는 비단조화적인 상관관계를 보이며, 이는 최적의 점이 n=10에서 존재함을 시사한다.