[논문 리뷰] CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization

Kilian Pfeiffer, Martin Rapp외 2명|arXiv (Cornell University)|2022. 03. 10.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

CoCoFL는 통신 및 계산을 고려한 분산 학습 프레임워크로, 모든 기기에서 전체 신경망 구조를 유지하면서도 일부 레이어를 선택적으로 동결하고 양자화하여 자원 사용을 줄입니다. 자원이 제한된 기기들이 양자화와 융합을 통해 더 많은 블록을 학습할 수 있도록 함으로써, CoCoFL는 기존 최고 수준의 방법보다 최대 14.9 p.p. 높은 정확도를 달성하며, 비독립적 데이터 설정에서 특히 공정성과 모델 성능 향상을 보장합니다.

ABSTRACT

Devices participating in federated learning (FL) typically have heterogeneous communication, computation, and memory resources. However, in synchronous FL, all devices need to finish training by the same deadline dictated by the server. Our results show that training a smaller subset of the neural network (NN) at constrained devices, i.e., dropping neurons/filters as proposed by state of the art, is inefficient, preventing these devices to make an effective contribution to the model. This causes unfairness w.r.t the achievable accuracies of constrained devices, especially in cases with a skewed distribution of class labels across devices. We present a novel FL technique, CoCoFL, which maintains the full NN structure on all devices. To adapt to the devices' heterogeneous resources, CoCoFL freezes and quantizes selected layers, reducing communication, computation, and memory requirements, whereas other layers are still trained in full precision, enabling to reach a high accuracy. Thereby, CoCoFL efficiently utilizes the available resources on devices and allows constrained devices to make a significant contribution to the FL system, increasing fairness among participants (accuracy parity) and significantly improving the final accuracy of the model.

연구 동기 및 목표

• 자원이 제한된 기기들이 의미 있는 기여를 할 수 있도록, 제한된 자원을 가진 기기들이 모델 학습에 기여할 수 있도록 공정성을 확보하기 위해 분산 학습의 공정성 문제를 해결하는 것.
• 낮은 성능 기기에서 모델 복잡도를 줄이는 기존의 부분집합 기반 방법의 한계를 극복하여, 낮은 정확도와 불공정성을 초래하는 문제를 해결하는 것.
• 모델 전체 구조를 유지하면서 자원 사용을 최적화하여, 이질적인 통신, 계산, 메모리 제약 조건을 가진 기기에서 고정확도 학습을 가능하게 하는 것.
• 왜곡된 레이블 분포가 일반적인 접근 방식의 성능을 떨어뜨리는 비독립적 데이터 설정에서 최종 모델 정확도를 향상시키는 것.
• 서버에 종속되지 않고 히우리스틱 기반의 레이어 선택 메커니즘을 개발하여 런타임에 지역 기기의 제약 조건에 적응하는 것.

제안 방법

• CoCoFL는 모든 기기에서 전체 신경망 아키텍처를 유지하여 모델 자르기나 부분 집합 학습을 방지합니다.
• 자원이 제한된 기기에서 일부 레이어를 선택적으로 동결하여 기울기 계산, 활성화 저장, 파라미터 업데이트 크기를 줄입니다.
• 동결된 레이어는 양자화(예: 8비트 정수로)되어 추가로 계산 및 메모리 사용을 줄입니다.
• 학습된 레이어는 전체 정밀도를 유지하여 학습 능력과 모델 정확도를 보존합니다.
• 기기 간 독립적인 히우리스틱은 설계 시 프로파일링된 성능 데이터(계산, 통신, 메모리)를 기반으로 런타임에 동결 및 양자화된 레이어를 선택합니다.
• 프레임워크는 양자화된 동결 레이어(QFF)와 융합된 동결 레이어(FF)를 모두 지원하며, 융합을 통해 메모리와 계산을 추가로 줄입니다.

실험 결과

연구 질문

• RQ1 자원이 이질적인 기기들에서 모델 복잡도를 줄이지 않고도 고정확도를 유지할 수 있는가?
• RQ2 선택적 레이어 동결 및 양자화가 비독립적 데이터 설정에서 자원이 제한된 기기들의 기여도를 향상시키는가?
• RQ3 서버에 종속되지 않고 기기 적응형 레이어 선택 전략이 자원 사용과 모델 정확도 사이의 균형을 효과적으로 유지할 수 있는가?
• RQ4 양자화와 레이어 융합이 자원 절약과 정확도 저하 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 CoCoFL는 최종 모델 정확도와 공정성 측면에서 기존 최고 수준의 부분집합 기반 방법보다 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 장치 제약 조건이 l=0.4일 때, CoCoFL는 기준 모델인 CoCoFL^F보다 최대 14.9 p.p. 높은 최종 정확도를 달성하여 뚜렷한 성능 향상을 보입니다.
• l=0.25 제약 조건에서 CoCoFL^QFF는 CoCoFL^FF보다 6.5 p.p. 높은 정확도를 기록하여, 양자화와 융합의 유용성을 입증합니다.
• 양자화와 레이어 융합으로 인한 오차는 극히 미미하며, 이득을 활용하지 않을 경우 정확도 최대 2.3 p.p. 이하의 오차가 발생합니다.
• 양자화와 융합 덕분에 자원이 제한된 기기들이 동일한 자원 제약 조건에서도 더 많은 학습 가능한 블록을 학습할 수 있어 직접적으로 모델 정확도를 향상시킵니다.
• 양자화로 인해 발생하는 작은 오차를 상쇄할 정도로, 학습 능력의 증가가 정확도 향상에 기여하며, 특히 장치 제약 조건이 엄격할 경우 더욱 두드러집니다.
• 장치 제약 조건이 전체 자원에 가까워질 경우(l≈1.0), 양자화와 융합의 이점이 감소하고, 양자화 오차로 인해 약간의 정확도 손실이 발생할 수 있습니다.