[论文解读] ExpertMatcher: Automating ML Model Selection for Users in Resource Constrained Countries

Vivek Kumar Sharma, Praneeth Vepakomma+4 more|arXiv (Cornell University)|Oct 5, 2019

Data Stream Mining Techniques参考文献 19被引用 4

一句话总结

ExpertMatcher 通过使用自编码器将客户端数据表示与中央服务器上最相关的预训练模型匹配，实现了对资源受限用户的机器学习模型选择自动化。它在粗粒度数据集分配中实现了 99.34% 的平均准确率，在细粒度类别匹配中最高达到 84.36%，从而实现了无需微调或数据共享的高效推理。

ABSTRACT

In this work we introduce ExpertMatcher, a method for automating deep learning model selection using autoencoders. Specifically, we are interested in performing inference on data sources that are distributed across many clients using pretrained expert ML networks on a centralized server. The ExpertMatcher assigns the most relevant model(s) in the central server given the client's data representation. This allows resource-constrained clients in developing countries to utilize the most relevant ML models for their given task without having to evaluate the performance of each ML model. The method is generic and can be beneficial in any setup where there are local clients and numerous centralized expert ML models.

研究动机与目标

• 解决资源受限国家中计算能力、数据或机器学习专业知识有限的用户选择合适预训练机器学习模型的挑战。
• 使远程客户端能够在不与服务器共享原始数据的情况下，动态将其数据分配给最相关的专家模型。
• 开发一种通用、模块化且高效的模型选择方法，支持粗粒度（数据集）和细粒度（类别）匹配。
• 减少对大型多任务模型的依赖，这些模型易受灾难性遗忘影响，且在多样化任务上表现不佳。

提出的方法

• ExpertMatcher 使用单层多层感知机自编码器（784 → 128 → 784）学习每个专家模型训练数据的紧凑共享表示。
• 对于粗粒度分配，计算客户端输入与自编码器输出之间的重构误差（MSE），并将误差最低的模型分配给客户端。
• 对于细粒度类别分配，使用客户端数据与自编码器学习到的特定类别表示在瓶颈层表示之间的余弦相似度。
• 该方法具有模块化特性：可在不重新训练整个系统的情况下向服务器添加新的专家模型。
• 客户端仅向服务器发送数据表示（而非原始数据），从而保护隐私。
• 该方法使用 6 个基准数据集进行评估，模型分配基于 MSE（粗粒度）或余弦相似度（细粒度）进行。

实验结果

研究问题

• RQ1 基于自编码器的表示是否能在分布式环境中有效识别与给定客户端输入最相关的预训练模型？
• RQ2 该方法在计算开销极低的情况下，对多样化基准数据集的粗粒度数据集匹配准确度如何？
• RQ3 当模型在不同类别分布上训练时，该方法在多大程度上能支持细粒度类别级别匹配？
• RQ4 与直接分类方法（如使用 Softmax 的 MLP）相比，基于自编码器的匹配器在数据集和类别分配任务中的性能如何？
• RQ5 该方法能否推广到现实世界中的医学和成像应用，如非视距成像和糖尿病视网膜病变检测？

主要发现

• ExpertMatcher 在六个基准数据集上实现了 99.34% 的粗粒度数据集分配平均准确率，其中 MNIST、STL-10 和 HAR 的个体准确率均超过 99%。
• 尽管结构更简单且更具泛化能力，基于自编码器的方法在粗粒度分配中达到了与直接 MLP 分类器（99.95% 准确率）相当的性能。
• 在 MNIST 上，细粒度类别分配的准确率达到 84.36%，在 NLOS 上达到 71.78%，表明其在识别在相似类别分布上训练的模型方面具有有效性。
• 该方法成功推广至领域特定任务，在糖尿病视网膜病变数据集上达到 96.49% 的准确率，在非视距成像数据集上达到 99.92% 的准确率。
• 性能在两个无重叠的客户端数据子集上保持稳定，表明对数据采样方差具有鲁棒性。
• 该方法实现了高效、隐私保护的模型选择，无需数据共享或中央模型枢纽的微调。