[논문 리뷰] Optimal Model Averaging: Towards Personalized Collaborative Learning

Felix Grimberg, Mary‐Anne Hartley외 2명|arXiv (Cornell University)|2021. 10. 25.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 5

한 줄 요약

이 논문은 피벗형 및 분산형 환경에서 개인화된 공동 학습을 위한 최적의 가중치 모델 평균화를 제안하며, 국소 분산이 0이 아닌 한, 어떤 긍정적인 정도의 평균화도 국소 모델보다 기대 제곱 오차를 감소시킨다. 핵심 결과는 최적의 평균화가 오차를 최적의 가중치에 해당하는 비율로 감소시키며, 최적의 값보다 두 배 이상 초과하는 가중치는 성능을 악화시킨다.

ABSTRACT

In federated learning, differences in the data or objectives between the participating nodes motivate approaches to train a personalized machine learning model for each node. One such approach is weighted averaging between a locally trained model and the global model. In this theoretical work, we study weighted model averaging for arbitrary scalar mean estimation problems under minimal assumptions on the distributions. In a variant of the bias-variance trade-off, we find that there is always some positive amount of model averaging that reduces the expected squared error compared to the local model, provided only that the local model has a non-zero variance. Further, we quantify the (possibly negative) benefit of weighted model averaging as a function of the weight used and the optimal weight. Taken together, this work formalizes an approach to quantify the value of personalization in collaborative learning and provides a framework for future research to test the findings in multivariate parameter estimation and under a range of assumptions.

연구 동기 및 목표

• 최적의 모델 평균화를 통해 공동 학습에서 개인화의 가치를 수식화하기 위해.
• 최소한의 분포 가정 하에 국소 모델과 글로벌 모델 간의 가중 평균으로부터 기대 제곱 오차 감소를 정량화하기 위해.
• 최적의 평균화 가중치와 그 모델 분산 및 편향에 대한 민감도를 규명하기 위해.
• 모델 평균화가 국소 모델 대비 성능 향상 또는 악화를 가져오는 조건을 규명하기 위해.
• 다변량 추정 및 개인화 학습 분야의 향후 연구에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 국소 경험 평균 $\bar{X}$ 와 보조 모델 $\bar{Y}$ 의 선형 조합을 분석하며, 가중 평균 $ (1-\alpha)\bar{X} + \alpha\bar{Y} $ 를 사용한다.
• 진짜 국소 평균 $\mathbb{E}[\bar{X}]$ 에 대해 기대 제곱 오차를 최소화하는 최적의 가중치 $\alpha^\star$ 를 유도한다.
• 오차를 $\alpha$ 와 $\alpha^\star$ 의 함수로 표현하며, $\alpha < 2\alpha^\star$ 일 경우 $\bar{X}$ 보다 성능 향상을 보임을 보여준다.
• 최적 평균화로 인한 오차 감소는 정확히 국소 모델의 오차에 $\alpha^\star$ 를 곱한 값과 같다.
• 분산과 편향 분해를 사용하여 $\alpha^\star$ 를 $\mathrm{Var}[\bar{X}]$, $\mathrm{Var}[\bar{Y}]$, 및 $|\mathbb{E}[\bar{X}] - \mathbb{E}[\bar{Y}]|^2$ 로 표현한다.
• 특정 가정 하에 이전 연구(Donahue & Kleinberg, 2020)와의 동치성을 검증하며, 일차원 경우에서의 일致성을 확인한다.

실험 결과

연구 질문

• RQ1 가중 모델 평균화가 기대 제곱 오차 측면에서 국소 모델을 초월하는 조건은 무엇인가?
• RQ2 모델 평균화에 대한 최적의 가중치 $\alpha^\star$ 는 무엇이며, 언제 엄격하게 양수인가?
• RQ3 부적절한 가중치 설정이 성능에 미치는 영향은 무엇이며, 어떤 범위의 가중치가 성능 향상 또는 악화를 초래하는가?
• RQ4 최적의 가중치는 국소 모델과 보조 모델의 분산 및 편향에 어떻게 의존하는가?
• RQ5 이론적 오차 감소는 모델의 분산과 편향을 정확히 알지 못하는 상황에서도 실현 가능한가?

주요 결과

• 국소 모델 $\bar{X}$ 의 분산이 0이 아닌 한, 최적의 평균화 가중치 $\alpha^\star$ 는 항상 양수이다.
• 최적의 가중치를 적용한 평균의 기대 제곱 오차는 국소 모델 $\bar{X}$ 대비 $\alpha^\star$ 의 비율로 감소된다.
• 모든 $\alpha < 2\alpha^\star$ 는 $\bar{X}$ 보다 낮은 기대 제곱 오차를 유도하며, $\alpha > 2\alpha^\star$ 는 더 높은 오차를 초래한다.
• 작은 가중치 $\alpha < \alpha^\star$ 라도 오차 감소에 상대적으로 큰 향상을 가져올 수 있다.
• 최적의 가중치 $\alpha^\star$ 는 주로 국소 모델의 분산과 보조 모델의 분산 및 두 모델 간의 제곱 편향의 합의 비율에 의해 결정된다.
• 편향과 분산이 정확히 알려져 있을 때에만 이론적 오차 경계를 달성할 수 있으며, 일반적으로는 실생활에서 이를 확보하기 어렵다.