[论文解读] High Dimensional Restrictive Federated Model Selection with multi-objective Bayesian Optimization over shifted distributions

Xudong Sun, Andrea Bommert+4 more|arXiv (Cornell University)|Feb 24, 2019

Machine Learning and Data Classification参考文献 40被引用 3

一句话总结

该论文提出了一种新型框架——受限联邦模型选择（RFMS），用于在高维、隐私敏感的临床数据场景中进行超参数优化，其中模型在本地训练但远程评估。通过在偏移的数据分布上使用多目标贝叶斯优化，RFMS 在跨数据站点的泛化性能上优于单目标或随机搜索基线方法，且 fmo 在超体积指标上表现最佳。

ABSTRACT

A novel machine learning optimization process coined Restrictive Federated Model Selection (RFMS) is proposed under the scenario, for example, when data from healthcare units can not leave the site it is situated on and it is forbidden to carry out training algorithms on remote data sites due to either technical or privacy and trust concerns. To carry out a clinical research under this scenario, an analyst could train a machine learning model only on local data site, but it is still possible to execute a statistical query at a certain cost in the form of sending a machine learning model to some of the remote data sites and get the performance measures as feedback, maybe due to prediction being usually much cheaper. Compared to federated learning, which is optimizing the model parameters directly by carrying out training across all data sites, RFMS trains model parameters only on one local data site but optimizes hyper-parameters across other data sites jointly since hyper-parameters play an important role in machine learning performance. The aim is to get a Pareto optimal model with respective to both local and remote unseen prediction losses, which could generalize well across data sites. In this work, we specifically consider high dimensional data with shifted distributions over data sites. As an initial investigation, Bayesian Optimization especially multi-objective Bayesian Optimization is used to guide an adaptive hyper-parameter optimization process to select models under the RFMS scenario. Empirical results show that solely using the local data site to tune hyper-parameters generalizes poorly across data sites, compared to methods that utilize the local and remote performances. Furthermore, in terms of dominated hypervolumes, multi-objective Bayesian Optimization algorithms show increased performance across multiple data sites among other candidates.

研究动机与目标

• 解决在临床研究中因隐私、信任或技术限制导致数据无法离开本地站点时，训练机器学习模型的挑战。
• 开发一种在具有不同、潜在偏移特征分布的数据站点间具有良好泛化能力的模型选择流程。
• 在无需远程访问数据进行训练的前提下，实现高效的超参数调优，仅需用于性能评估的远程访问。
• 通过避免跨站点同步、通信密集型的训练过程，克服标准联邦学习的局限性。
• 通过联合优化本地与远程预测性能，利用贝叶斯优化提升模型泛化能力。

提出的方法

• 提出一种新型学习范式——受限联邦模型选择（RFMS），其中模型训练仅在本地数据上进行，但性能反馈来自远程数据站点。
• 使用多目标贝叶斯优化（MOBO）联合优化本地与远程预测损失，以寻找帕累托最优的超参数。
• 将远程性能建模为在部署模型后返回的标量反馈信号，以最小化通信与隐私开销。
• 应用主成分分析（保留10%方差）与聚类技术，模拟临床数据站点间真实存在的数据分布偏移。
• 采用分层随机划分方法，模拟更均衡的数据分布场景，以增强评估的稳健性。
• 使用具有1e-6小量（nugget value）的高斯过程回归来建模目标函数，以处理超参数搜索中的性能平坦边界。

实验结果

研究问题

• RQ1 在受限联邦模型选择设置下，多目标贝叶斯优化是否能优于单目标优化与随机搜索？
• RQ2 当仅使用本地数据进行超参数调优时，与引入远程反馈相比，模型在具有分布偏移的数据站点间的泛化性能如何？
• RQ3 在不同数据分布场景下（如不均衡与分层划分），MOBO 方法的性能是否有所提升？
• RQ4 高维临床数据中的分布偏移如何影响超参数优化的稳定性与收敛性？
• RQ5 在隐私受限环境中，通信效率与异步部署对模型选择可行性与性能有何影响？

主要发现

• 仅在本地数据上调优的模型在存在分布偏移的数据站点间泛化能力差，证实了远程性能反馈的必要性。
• 多目标贝叶斯优化方法（尤其是 fmo）在超体积指标上显著优于单目标与随机搜索基线。
• 在 DRC（降维与聚类）场景中，fmo 相较于 rand_mo 表现大幅领先，在超过一半的实验中获胜。
• 在 SRS（分层随机划分）场景中，所有方法因数据分布更均衡而性能提升，但 fmo 依然占据主导地位。
• 胜者对败者（Winner-vs-Loser）图显示，fmo 在多个数据集与场景中持续表现出显著优势，且具有统计显著性。
• 仅有约 5% 的实验因算法故障（如高斯过程回归中的数值问题）被排除，表明评估流程具有高度鲁棒性。