[논문 리뷰] A first look into the carbon footprint of federated learning

Xinchi Qiu, Titouan Parcollet외 7명|arXiv (Cornell University)|2021. 02. 15.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 55

한 줄 요약

본 논문은 분산 학습(Federated Learning, FL)에 대한 최초의 정량적 CO2e 배출 모델을 제시하고, FL과 중앙 집중식 학습을 비교하며, 구성에 따라 FL가 중앙 집중식 학습보다 최대 두 자릿수 차이로 더 많은 탄소를 배출할 수 있음을 보여주고, 일부 설정에서는 장치 내 에너지 절감으로 인해 중앙집중화에 근접하는 경우도 있음을 시사한다.

ABSTRACT

Despite impressive results, deep learning-based technologies also raise severe privacy and environmental concerns induced by the training procedure often conducted in data centers. In response, alternatives to centralized training such as Federated Learning (FL) have emerged. Perhaps unexpectedly, FL is starting to be deployed at a global scale by companies that must adhere to new legal demands and policies originating from governments and social groups advocating for privacy protection. extit{However, the potential environmental impact related to FL remains unclear and unexplored. This paper offers the first-ever systematic study of the carbon footprint of FL.} First, we propose a rigorous model to quantify the carbon footprint, hence facilitating the investigation of the relationship between FL design and carbon emissions. Then, we compare the carbon footprint of FL to traditional centralized learning. Our findings show that, depending on the configuration, FL can emit up to two order of magnitude more carbon than centralized machine learning. However, in certain settings, it can be comparable to centralized learning due to the reduced energy consumption of embedded devices. We performed extensive experiments across different types of datasets, settings and various deep learning models with FL. Finally, we highlight and connect the reported results to the future challenges and trends in FL to reduce its environmental impact, including algorithms efficiency, hardware capabilities, and stronger industry transparency.

연구 동기 및 목표

• 정확도와 효율성뿐만 아니라 환경 영향 평가의 필요성을 촉진한다.
• FL 학습 및 통신으로 인한 CO2e 배출을 추정하기 위한 엄밀한 분석 모델을 제안한다.
• 여러 작업과 데이터 세트에 걸쳐 FL 설계 선택이 탄소 발자국에 미치는 영향을 정량화한다.
• 현실적인 하드웨어와 네트워크 설정에서 FL 배출을 중앙 집중식 학습과 비교한다.
• 알고리즘, 하드웨어 및 투명성 향상을 통한 FL의 환경 영향을 줄이기 위한 로드맵을 제시한다.

제안 방법

• 각 클라이언트 학습 에너지 및 WAN 통신 에너지를 포함한 FL 에너지 소비를 추정하기 위한 분석 모델을 개발한다 (식 1 및 3).
• 특정 위치의 배출 계수(식 4 및 5)를 사용하여 에너지 소비를 CO2e 배출로 환산한다.
• 실제 FL 하드웨어(에지 디바이스)와 중앙 집중식 서버를 사용하고 IID 및 비 IID 파티션을 활용하여 이미지 분류 및 음성 등의 작업에 걸친 광범위한 실험을 수행한다.
• 총 배출에 미치는 하이퍼파라미터(예: 로컬 에폭 수, 라운드 수, FedAVG 대 FedADAM)의 영향을 조사한다.
• 다양한 설정에서 에너지 사용 및 배출 측면에서 FL과 중앙 집중식 학습을 비교한다(데이터세트: CIFAR-10, FEMNIST, ImageNet; 음성 데이터 세트).
• 비 IID 대 IID 데이터 분포를 분석하고 탄소 효율성과 수렴에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 현실적인 하드웨어 및 네트워크 조건에서 연합학습의 CO2e 배출에 대한 최초의 정량적 추정치는 무엇인가?
• RQ2 FL 설계 선택(로컬 에폭 수, 집계 전략, IID/비 IID 데이터, 라운드 수)이 중앙 집중식 학습과 비교하여 전체 에너지 사용 및 CO2e 배출에 어떤 영향을 미치는가?
• RQ3 FL WAN 통신 에지가 로컬 학습 에너지에 비례하여 전체 탄소 발자국에 대해 어떤 기여를 하는가?
• RQ4 어떤 구성에서 FL 배출이 중앙 집중식 학습과 비슷하거나 상당히 초과할 수 있으며, 그 이유는 무엇인가?
• RQ5 FL의 탄소 발자국을 줄이기 위해 제안된 방향(알고리즘, 하드웨어, 투명성)은 무엇인가?

주요 결과

• FL 배출은 여러 하이퍼파라미터에 의존하며, WAN 통신은 총 배출의 0.7%에서 96% 이상까지 차지할 수 있다.
• 중앙 집중식 학습과 비교했을 때, 서로 다른 작업 및 설정에서 FL는 72%에서 수백 배 더 많은 탄소를 배출할 수 있다.
• 일부 설정에서 내장형 장치와 에너지 효율적인 로컬 컴퓨트로 인해, 기기 차원의 에너지 사용 감소로 FL 배출이 중앙 집중식 학습과 비슷해질 수 있다.
• 작업별로 중앙 집중식 학습은 일반적으로 CIFAR-10 및 ImageNet과 같은 이미지 분류 작업에서 FL보다 적은 에너지를 소비하지만, 데이터셋과 구성에 따라 결과가 다르다.
• 비 IID 파티션은 종종 총 에너지 소비와 필요한 라운드를 증가시켜 배출에 영향을 준다.
• 이 연구는 알고리즘 효율성, 하드웨어 역량, 산업 투명성에 초점을 맞춘 FL 환경 영향 감소 로드맵을 제공한다.