[论文解读] Federated Learning with Only Positive Labels

Felix X. Yu, Ankit Singh Rawat+2 more|arXiv (Cornell University)|Apr 21, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 40

一句话总结

本文提出 FedAwS，一种联邦学习框架，在该框架中每个客户端只有正标签，服务器上应用扩散式正则化以防止类别嵌入坍缩，在带有负标签的标准设置下也能达到接近的性能。

ABSTRACT

We consider learning a multi-class classification model in the federated setting, where each user has access to the positive data associated with only a single class. As a result, during each federated learning round, the users need to locally update the classifier without having access to the features and the model parameters for the negative classes. Thus, naively employing conventional decentralized learning such as the distributed SGD or Federated Averaging may lead to trivial or extremely poor classifiers. In particular, for the embedding based classifiers, all the class embeddings might collapse to a single point. To address this problem, we propose a generic framework for training with only positive labels, namely Federated Averaging with Spreadout (FedAwS), where the server imposes a geometric regularizer after each round to encourage classes to be spreadout in the embedding space. We show, both theoretically and empirically, that FedAwS can almost match the performance of conventional learning where users have access to negative labels. We further extend the proposed method to the settings with large output spaces.

研究动机与目标

• 在每个客户端仅有一个类别的正数据的联邦设置中，激发并形式化学习多类分类器的动机与方法。
• 提出 FedAwS，一种基于 FedAvg 的框架，配备几何扩散正则化以保持类别嵌入良好分离。
• 从理论上通过余弦对比损失与代理风险分析将 FedAwS 与常规的全标签训练联系起来。
• 将 FedAwS 扩展到大输出空间，并在标准数据集上提供实证验证。

提出的方法

• 通过 g_theta 嵌入输入，并使用一个类别嵌入矩阵 W 进行分类，其中类别 i 的嵌入为 w_i。
• 在每一轮中，客户端仅使用正类别数据及正部损失 l_pos（如 l_cl^pos）进行更新。
• 服务器应用扩散正则化 reg_sp(W)，以在边际 nu 下促进类别嵌入之间的成对分离。
• FedAwS 通过联邦平均更新 theta，并使用收集到的客户端嵌入来更新 W，随后在 reg_sp(W) 上进行服务器端梯度更新。
• 一种随机负样本挖掘变体（reg_top_sp）自适应地选择接近的类别嵌入，以在大 C 情景下近似扩散效果。
• 理论证明将 FedAwS 与余弦对比损失联系起来，并在某些条件下证明代理一致性以及接近等价于全标签经验风险。

实验结果

研究问题

• RQ1 在每个客户端仅对单一类别拥有正数据的情形下，能否在联邦设置中实现有效的多类学习？
• RQ2 在服务器端引入扩散几何正则化能否防止嵌入坍缩并实现与全标签训练相当的性能？
• RQ3 FedAwS 如何扩展到大型输出空间，在极端多类设置中随机负样本挖掘是否有所帮助？
• RQ4 FedAwS 目标与在可获取负标签的情况下的常规余弦/对比损失之间有什么理论关系？

主要发现

• FedAwS 能防止类别嵌入坍缩，并在基于嵌入的分类器中取得接近标准全标签训练的竞争性准确率。
• 扩散正则化提高了类别嵌入的稳定性和分离度，在负样本不可用时改善学习。
• 余弦对比损失被确立为错判误差的代理，支撑着 FedAwS 的目标。
• 在数据均衡假设（n_i 相等）和特定 lambda 下，FedAwS 目标与包含负部份的代理损失的经验风险一致。
• 在 CIFAR-10/100 的实证结果显示，FedAwS 超越了两个基线并在 Precision@1 上接近 Softmax（oracle）性能。