[논문 리뷰] Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices

Kartik Gupta, Marios Fournarakis외 3명|arXiv (Cornell University)|2022. 06. 22.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 다양한 비트 폭 제약 조건을 가진 이질적인 디바이스 간의 효율적인 온디바이스 추론을 가능하게 하기 위해 정량화에 강건한 분산 학습 방법을 제안한다. 페어드 에이버리징에 코르티시스 정규화, 가우시안 허위 정량화 노이즈, 그리고 새로운 다중 비트 정량화 인식 학습(mQAT) 프레임워크를 통합함으로써, 전체 정밀도 학습 후에도 다양한 정량화 비트 폭에서 높은 정확도를 달성하며 성능 저하가 거의 발생하지 않는다.

ABSTRACT

Federated Learning (FL) is a machine learning paradigm to distributively learn machine learning models from decentralized data that remains on-device. Despite the success of standard Federated optimization methods, such as Federated Averaging (FedAvg) in FL, the energy demands and hardware induced constraints for on-device learning have not been considered sufficiently in the literature. Specifically, an essential demand for on-device learning is to enable trained models to be quantized to various bit-widths based on the energy needs and heterogeneous hardware designs across the federation. In this work, we introduce multiple variants of federated averaging algorithm that train neural networks robust to quantization. Such networks can be quantized to various bit-widths with only limited reduction in full precision model accuracy. We perform extensive experiments on standard FL benchmarks to evaluate our proposed FedAvg variants for quantization robustness and provide a convergence analysis for our Quantization-Aware variants in FL. Our results demonstrate that integrating quantization robustness results in FL models that are significantly more robust to different bit-widths during quantized on-device inference.

연구 동기 및 목표

• 엣지 디바이스의 하드웨어 이질성이 증가하는 상황에서 분산 학습의 정량화에 대한 강건성 부족 문제를 해결한다.
• 에너지 효율적인 추론을 위해 다양한 비트 폭(예: 2-, 4-, 8비트)으로 정량화된 모델이 높은 정확도를 유지할 수 있도록 한다.
• 기존의 정량화 인식 학습(QAT) 기법이 학습한 비트 폭 외의 비트 폭에 배포될 경우 성능이 저하되는 한계를 극복한다.
• 재학습 없이도 여러 정량화 비트 폭에 일반화되는 분산 학습 프레임워크를 설계한다.
• 비볼록 분산 환경에서 QAT 변종의 수렴 행동에 대한 이론적 분석을 포함한다.

제안 방법

• 정량화에 대한 강건성을 유도하기 위해 국부 클라이언트 손실 함수에 정규화 항을 추가함으로써 코르티시스 정규화(KURE)를 도입한다.
• 랜덤 노이즈를 학습 중에 주입하여 정량화 효과를 시뮬레이션하는 추가 허위 정량화 노이즈(APQN)를 제안한다. 이는 랜덤 스무딩 기법에서 영감을 받았다.
• 각 클라이언트의 국부 업데이트 시 랜덤한 비트 폭을 샘플링하여 하나의 모델을 다중 비트 폭에 강건하도록 훈련하는 다중 비트 정량화 인식 학습(mQAT) 기법을 개발한다.
• 표준 QAT에 스트레이트스루 추정기(STE) 근사 기법을 적용하지만, 비트 폭 간 일반화를 향상시키기 위해 학습 프로세스를 수정한다.
• QAT 변종의 수렴 특성을 분산 학습 환경에서 이론적으로 분석하며, FedAvg와 유사한 수렴 속도를 보이며 QAT 전용 오차 바닥을 가지는 것으로 확인한다.
• 기본 최적화 프레임워크로 표준 FedAvg를 사용하며, 정량화 강건성 통합을 위해 클라이언트 수준의 학습 단계에 수정을 가한다.

실험 결과

연구 질문

• RQ1 정량화에 강건한 방법이 분산 학습에 효과적으로 통합되어 이질적인 디바이스에서 다양한 비트 폭에 대해 모델 정확도를 유지할 수 있는가?
• RQ2 정규화 기반 방법(예: KURE, APQN)이 QAT 기반 접근법에 비해 분포 외 정량화에 대해 얼마나 강건한가?
• RQ3 mQAT를 통해 분산 학습된 단일 모델이 재학습 없이 여러 정량화 비트 폭에 일반화될 수 있는가?
• RQ4 비볼록 설정에서 QAT 기반의 분산 학습의 이론적 수렴 행동은 어떠한가?
• RQ5 정량화 강건성 메커니즘 통합이 분산 환경에서 전체 정밀도 모델 정확도를 저하시키는가?

주요 결과

• CIFAR-10에서 ResNet-20을 사용할 경우, mQAT는 8비트 활성화 정량화 후 전역 검증 정확도 76.42%를 달성하여 베이스라인 QAT(73.72%) 및 기타 변종을 능가한다.
• CIFAR-100에서 ResNet-20을 사용할 경우, mQAT는 6비트 활성화 정량화 후 76.8%의 정확도를 기록하며, QAT(71.38%) 및 베이스라인(64.08%)을 크게 앞서간다.
• TinyImageNet에서 ResNet-18을 사용할 경우, mQAT는 4비트 가중치 정량화 후에도 66.02%의 정확도를 유지하지만, QAT는 66.74%로 하락하고, 베이스라인은 68.24%로 떨어진다.
• APQN 방법은 CIFAR-10에서 8비트 활성화 정량화 조건에서 76.38%의 정확도를 달성하여, 베이스라인(70.06%) 및 QAT(73.98%)를 모두 능가한다.
• 2비트 환경에서, mQAT는 LeNet-5를 사용해 CIFAR-10에서 67.78%의 정확도를 기록했으며, QAT는 58.2%, KURE는 26.2%로 떨어져 강력한 정량화 강건성을 입증한다.
• 이론적 분석을 통해 mQAT의 수렴 속도가 FedAvg와 유사하며, QAT 전용 학습 힌트로 인해 약간의 오차 바닥이 존재하는 것으로 확인된다.