[論文レビュー] Optimal Model Averaging: Towards Personalized Collaborative Learning

Felix Grimberg, Mary‐Anne Hartley+2 more|arXiv (Cornell University)|Oct 25, 2021

Privacy-Preserving Technologies in Data参考文献 14被引用数 5

ひとこと要約

本稿は、フェデレーテッドおよび分散型環境におけるパーソナライズドコラボラティブラーニングの最適重み付きモデルアveragingを提案し、局所分散が非ゼロである限り、任意の正の量のアveragingは、局所モデルと比較して期待二乗誤差を低減することを示している。主な結果として、最適アveragingは最適重みに等しい割合で誤差を低減するが、最適値の2倍を超える不適切な重みは性能を悪化させる。

ABSTRACT

In federated learning, differences in the data or objectives between the participating nodes motivate approaches to train a personalized machine learning model for each node. One such approach is weighted averaging between a locally trained model and the global model. In this theoretical work, we study weighted model averaging for arbitrary scalar mean estimation problems under minimal assumptions on the distributions. In a variant of the bias-variance trade-off, we find that there is always some positive amount of model averaging that reduces the expected squared error compared to the local model, provided only that the local model has a non-zero variance. Further, we quantify the (possibly negative) benefit of weighted model averaging as a function of the weight used and the optimal weight. Taken together, this work formalizes an approach to quantify the value of personalization in collaborative learning and provides a framework for future research to test the findings in multivariate parameter estimation and under a range of assumptions.

研究の動機と目的

• 最適モデルアveragingを通じて、協調学習におけるパーソナライゼーションの価値を形式化すること。
• 最小限の分布的仮定のもとで、局所モデルとグローバルモデル間の重み付きアveragingによる期待二乗誤差の低減を定量すること。
• 最適アveraging重みとそのモデル分散およびバイアスへの感受性を特定すること。
• モデルアveragingが局所モデルと比較して性能を向上または悪化させる条件を同定すること。
• 将来の多変量推定およびパーソナライズドラーニングに関する研究の理論的基盤を提供すること。

提案手法

• 局所経験的平均 $\bar{X}$ と補助モデル $\bar{Y}$ の線形結合を分析し、重み付き平均 $ (1-\alpha)\bar{X} + \alpha\bar{Y} $ を用いる。
• 真の局所平均 $\mathbb{E}[\bar{X}]$ に対する期待二乗誤差を最小化する最適重み $\alpha^\star$ を導出する。
• 誤差を $\alpha$ および $\alpha^\star$ の関数として定量化し、$\alpha < 2\alpha^\star$ であれば $\bar{X}$ よりも性能が向上することを示す。
• 最適アveragingによる誤差低減は、局所モデルの誤差に正確に $\alpha^\star$ を乗じたものに等しいことを確立する。
• 分散およびバイアス分解を用いて、$\alpha^\star$ を $\mathrm{Var}[\bar{X}]$, $\mathrm{Var}[\bar{Y}]$, および $|\mathbb{E}[\bar{X}] - \mathbb{E}[\bar{Y}]|^2$ の関数として表現する。
• 特定の仮定のもとで先行研究（Donahue & Kleinberg, 2020）と同等であることを検証し、1次元ケースにおける一貫性を確認する。

実験結果

リサーチクエスチョン

• RQ1 重み付きモデルアveragingは、期待二乗誤差の観点で、いつ局所モデルを上回るか？
• RQ2 モデルアveragingの最適重み $\alpha^\star$ は何か？ また、いつそれが正の値をとるか？
• RQ3 不適切な重み付けは性能にどのように影響するか？ どの範囲の重みが性能向上または劣化をもたらすか？
• RQ4 最適重みは、局所モデルおよび補助モデルの分散およびバイアスにどのように依存するか？
• RQ5 理論的誤差低減は、モデルの分散およびバイアスを正確に把握できない状況でも実際の場面で達成可能か？

主な発見

• 局所モデル $\bar{X}$ の分散が非ゼロである限り、最適アveraging重み $\alpha^\star$ は常に正である。
• 最適重み付き平均の期待二乗誤差は、局所モデル $\bar{X}$ と比較して $\alpha^\star$ の割合で低減される。
• 任意の重み $\alpha < 2\alpha^\star$ は、$\bar{X}$ よりも低い期待二乗誤差をもたらすが、$\alpha > 2\alpha^\star$ では誤差が高くなる。
• 非常に小さな重み $\alpha < \alpha^\star$ でさえも、誤差低減において相対的に大きな改善をもたらすことがある。
• 最適重み $\alpha^\star$ は、主に局所モデルの分散と、補助モデルの分散および2つのモデル間の二乗バイアスの和の比に依存する。
• 理論的誤差バウンドは、両モデルのバイアスおよび分散を正確に知っている場合にのみ達成可能であり、これは通常の実践では達成不可能である。