[논문 리뷰] Fine-tuning is Fine in Federated Learning

Gary Cheng, Karan N. Chadha외 1명|arXiv (Cornell University)|2021. 08. 16.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 13

한 줄 요약

이 논문은 복잡한 메타학습 및 프록시 정규화된 분산 학습 방법의 간단하고 효율적인 대안으로, 미세조정된 분산 평균화(FTFA)와 그 릿지 정규화된 변종인 RTFA를 제안한다. 고차원 점점 증가하는 점근적 프레임워크에서 FTFA와 RTFA는 최첨단 접근 방식과 경쟁 가능한 성능을 달성하면서도, 계산 효율성과 개념적 단순성에서 뛰어나며, EMNIST, CIFAR-100, Shakespeare, Stack Overflow 등의 분산 데이터셋을 통해 검증되었다.

ABSTRACT

We study the performance of federated learning algorithms and their variants in an asymptotic framework. Our starting point is the formulation of federated learning as a multi-criterion objective, where the goal is to minimize each client's loss using information from all of the clients. We propose a linear regression model, where, for a given client, we theoretically compare the performance of various algorithms in the high-dimensional asymptotic limit. This asymptotic multi-criterion approach naturally models the high-dimensional, many-device nature of federated learning and suggests that personalization is central to federated learning. Our theory suggests that Fine-tuned Federated Averaging (FTFA), i.e., Federated Averaging followed by local training, and the ridge regularized variant Ridge-tuned Federated Averaging (RTFA) are competitive with more sophisticated meta-learning and proximal-regularized approaches. In addition to being conceptually simpler, FTFA and RTFA are computationally more efficient than its competitors. We corroborate our theoretical claims with extensive experiments on federated versions of the EMNIST, CIFAR-100, Shakespeare, and Stack Overflow datasets.

연구 동기 및 목표

• 클라이언트별 개인화가 핵심이 되는 고차원, 다수 기기의 점근적 환경에서 분산 학습을 분석하는 것.
• 모든 클라이언트의 정보를 활용하여 각 클라이언트의 손실를 최소화하는 다기준 최적화 프레임워크 하에서 분산 학습 알고리즘의 성능을 평가하는 것.
• 분산 평균화 이후 간단한 미세조정이 더 복잡한 메타학습 및 프록시 정규화 방법과 경쟁하거나 이를 초월할 수 있는지 평가하는 것.
• FTFA와 RTFA가 개인화된 분산 학습에서 효과적인 이유에 대한 이론적 및 실증적 근거를 확립하는 것.

제안 방법

• 모든 클라이언트의 정보를 활용하여 각 클라이언트의 손실를 최소화하는 방식으로 분산 학습을 다기준 최적화 문제로 공식화하는 것.
• 고차원 점근적 극한에서 선형 회귀 모델을 구축하여 클라이언트 간의 알고리즘 성능을 이론적으로 비교하는 것.
• 표준 분산 평균화 이후 국소적 미세조정을 적용하여 클라이언트별 성능을 향상시키는, 미세조정된 분산 평균화(FTFA)를 제안하는 것.
• 일반화 성능을 향상시키기 위해 릿지 페널티를 추가한 FTFA의 정규화된 변종인 릿지-조정된 분산 평균화(RTFA)를 도입하는 것.
• 이론적 분석을 통해 FTFA와 RTFA가 점근적 환경에서 메타학습 및 프록시 정규화 방법과 경쟁 가능함을 보여주는 것.
• EMNIST, CIFAR-100, Shakespeare, Stack Overflow 데이터셋의 분산 버전을 사용하여 발견을 실증적으로 검증하는 것.

실험 결과

연구 질문

• RQ1 분산 평균화 이후의 미세조정이 분산 학습에서 고급 메타학습 및 프록시 정규화 방법과 경쟁 가능한 성능을 내는가?
• RQ2 FTFA와 RTFA의 성능은 고차원, 개인화된 분산 학습 환경에서 최첨단 방법과 비교해 어떻게 되는가?
• RQ3 FTFA와 RTFA의 효과성에 대한 이론적 근거는 무엇인가? 특히 점근적, 다중 클라이언트, 고차원 환경에서의 근거는?
• RQ4 FTFA처럼 단순하고 계산 효율성이 높은 방법이 개인화된 분산 학습에서 더 복잡한 알고리즘을 능가할 수 있는가?

주요 결과

• FTFA와 RTFA는 고차원 점근적 환경에서 더 정교한 메타학습 및 프록시 정규화 방법과 경쟁 가능한 성능을 달성한다.
• 이론적 분석은 고차원, 다수 기기 환경에서 개인화가 분산 학습의 핵심 요소임을 보여준다.
• FTFA와 RTFA는 더 단순한 학습 절차 덕분에 메타학습 및 프록시 정규화 기반 방법보다 계산 효율성이 뛰어나다.
• EMNIST, CIFAR-100, Shakespeare, Stack Overflow에서의 실증 결과는 FTFA와 RTFA가 다양한 분산 학습 벤치마크에서 뛰어난 성능을 유지함을 확인한다.
• 릿지 정규화된 변종인 RTFA는 특히 클라이언트당 데이터가 제한된 고차원 환경에서 일반화 성능과 안정성을 향상시킨다.
• 이론적 분석과 실증적 검증의 조합은 FTFA와 RTFA가 실세계 분산 학습에서 실용적이고 효율적이며 효과적인 대안로 채택될 수 있음을 뒷받침한다.