[论文解读] ExpertMatcher: Automating ML Model Selection for Clients using Hidden Representations

Vivek Kumar Sharma, Praneeth Vepakomma+4 more|arXiv (Cornell University)|Oct 9, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用 7

一句话总结

该论文提出ExpertMatcher-HR，一种在分布式系统中无需共享原始客户端数据即可自动化机器学习模型选择的方法。它在客户端和服务器端分别独立训练自编码器，通过余弦相似度比较隐藏表征，实现与数据共享基线方法近乎等效的性能——粗粒度分配的平均准确率达99.3%，细粒度分类准确率达71.4%，同时保护隐私并减少带宽消耗。

ABSTRACT

Recently, there has been the development of Split Learning, a framework for distributed computation where model components are split between the client and server (Vepakomma et al., 2018b). As Split Learning scales to include many different model components, there needs to be a method of matching client-side model components with the best server-side model components. A solution to this problem was introduced in the ExpertMatcher (Sharma et al., 2019) framework, which uses autoencoders to match raw data to models. In this work, we propose an extension of ExpertMatcher, where matching can be performed without the need to share the client's raw data representation. The technique is applicable to situations where there are local clients and centralized expert ML models, but the sharing of raw data is constrained.

研究动机与目标

• 以隐私保护的方式解决将最相关专家机器学习模型分配给客户端数据的挑战。
• 克服现有ExpertMatcher方法需共享原始客户端数据所带来的隐私、安全和存储问题。
• 在Split Learning等无法传输原始数据的分布式学习框架中，实现高效且可扩展的模型选择。
• 仅使用中间隐藏表征而非原始输入，保持高模型分配准确率。
• 在包括图像、文本、传感器数据和医学影像在内的多种数据模态中，验证该方法的可行性与性能。

提出的方法

• 在客户端和服务器端分别使用不重叠但分布相似的数据独立训练自编码器（AEs）。
• 使用客户端自编码器从客户端数据中提取中间隐藏表征，并仅共享这些编码后的特征。
• 在服务器端为每个专家模型的训练数据集计算平均隐藏表征（μk），在客户端侧为每个客户端的数据集也计算平均隐藏表征。
• 通过计算客户端编码表征与服务器预计算的平均表征之间的最大余弦相似度来分配模型。
• 使用相同的基于相似度的匹配机制，实现粗粒度分配（数据集级别）和细粒度分配（类别级别）。
• 确保客户端和服务器端自编码器的模型权重初始化一致，以促进独立训练下收敛到相似的表征。

实验结果

研究问题

• RQ1 是否可以仅使用隐藏表征，在不共享原始客户端数据的情况下准确完成专家模型选择？
• RQ2 通过隐藏表征进行模型分配的性能与需要共享原始数据的方法相比如何？
• RQ3 在不同数据分布上独立训练的自编码器，在多大程度上仍能产生可用于匹配的可比隐藏表征？
• RQ4 客户端数据量有限对细粒度类别分配准确率有何影响？
• RQ5 所提出的方法能否在支持多客户端和多种数据类型的同时，保持隐私性和效率？

主要发现

• 所提方法在六个数据集上实现了99.30%的平均粗粒度数据集分配准确率，与Sharma等人（2019）共享原始数据的基线方法性能相当。
• 在MNIST数据集上，细粒度类别分配准确率为71.4%（基线为84.36%），表明由于客户端训练数据量较小，性能有所下降。
• 尽管在非重叠数据上独立训练，自编码器仍能生成在余弦空间中高度相似的隐藏表征，从而实现有效匹配。
• 该方法在100%保护客户端数据隐私的前提下保持强性能，因为仅共享低维编码特征。
• 在MNIST、STL-10、HAR、Reuters、NLOS和糖尿病性视网膜病变等多种数据类型上，性能均保持稳健。
• 该方法可扩展至多客户端环境，支持无需原始数据传输的粗粒度与细粒度模型选择。