[论文解读] FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning

Huy Quoc Le, Minh N. H. Nguyen+4 more|arXiv (Cornell University)|Jul 25, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

FedMEKT 提出了一种半监督多模态联邦学习框架，通过基于蒸馏的嵌入知识迁移来提升全局模型性能，而无需共享原始数据或模型参数。通过交换来自代理数据集的联合多模态嵌入，该方法降低了通信成本，增强了泛化能力，并在多模态人体活动识别基准上实现了最先进性能。

ABSTRACT

Federated learning (FL) enables a decentralized machine learning paradigm for multiple clients to collaboratively train a generalized global model without sharing their private data. Most existing works simply propose typical FL systems for single-modal data, thus limiting its potential on exploiting valuable multimodal data for future personalized applications. Furthermore, the majority of FL approaches still rely on the labeled data at the client side, which is limited in real-world applications due to the inability of self-annotation from users. In light of these limitations, we propose a novel multimodal FL framework that employs a semi-supervised learning approach to leverage the representations from different modalities. Bringing this concept into a system, we develop a distillation-based multimodal embedding knowledge transfer mechanism, namely FedMEKT, which allows the server and clients to exchange the joint knowledge of their learning models extracted from a small multimodal proxy dataset. Our FedMEKT iteratively updates the generalized global encoders with the joint embedding knowledge from the participating clients. Thereby, to address the modality discrepancy and labeled data constraint in existing FL systems, our proposed FedMEKT comprises local multimodal autoencoder learning, generalized multimodal autoencoder construction, and generalized classifier learning. Through extensive experiments on three multimodal human activity recognition datasets, we demonstrate that FedMEKT achieves superior global encoder performance on linear evaluation and guarantees user privacy for personal data and model parameters while demanding less communication cost than other baselines.

研究动机与目标

• 解决多模态联邦学习中标签数据有限的挑战，因为客户端通常无法对传感器或多模态数据进行自标注。
• 克服传统联邦学习框架中参数聚合带来的高通信成本和隐私风险。
• 通过利用多模态的联合表示，提升多模态下游任务的泛化能力和性能。
• 在不交换原始数据或模型权重的前提下，实现在客户端与服务器之间的有效知识迁移，以保护用户隐私。
• 开发一种可扩展且高效的框架，支持去中心化多模态环境下的半监督学习。

提出的方法

• 提出一种基于蒸馏的嵌入知识迁移（EKT）机制，通过交换联合多模态嵌入而非模型参数来实现。
• 在客户端使用局部多模态自编码器，从无标签的客户端数据中学习模态特定的表示。
• 在服务器端构建一个广义的多模态自编码器，利用来自客户端的知识以保留共享表示。
• 应用广义分类器学习步骤，利用服务器端有限的标注数据优化下游任务。
• 使用代理数据集生成联合多模态嵌入以支持知识蒸馏，从而实现有效的上游与下游知识迁移。
• 在客户端和服务器端均引入 EKD（嵌入知识蒸馏）正则化器，以对齐本地与全局表示。

实验结果

研究问题

• RQ1 基于蒸馏的嵌入知识迁移是否能在不共享模型参数或原始数据的前提下提升多模态联邦学习中的全局模型性能？
• RQ2 在客户端标签数据有限的半监督设置下，所提出的 FedMEKT 框架表现如何？
• RQ3 代理数据集大小以及 EKT 步骤数和本地训练轮数等超参数对模型收敛性和准确率有何影响？
• RQ4 EKD 正则化器在多大程度上增强了客户端与服务器之间表示对齐及泛化能力？
• RQ5 与现有的基于参数和基于知识的联邦学习基线相比，FedMEKT 在通信效率和准确率方面表现如何？

主要发现

• FedMEKT 在三个多模态人体活动识别数据集上实现了最先进性能，线性评估准确率分别为：RGB 模态 73.92%，深度模态 68.18%，RGB-深度融合模态 73.70%。
• 由于采用知识蒸馏而非模型权重交换，与基于参数的基线方法（如 FedAvg 和 FedProx）相比，通信成本降低了 30–50%。
• 若在客户端或服务器端移除 EKD 正则化器，性能将显著下降——例如，当本地移除 EKD 时，准确率从 73.92% 降至 70.38%。
• 最优性能在 R=2 个 EKT 步骤和 N=2 个本地训练轮数下实现，表明适度的迭代知识迁移可提升收敛速度和表示质量。
• 将代理数据集大小从总数据的 10% 增加到 100%，性能随之提升，尤其在低数据场景下增益最为显著。
• FedMEKT 在所有数据集上均优于 MM-FedProx 和 MM-MOON，展现出在统计异构性和标签稀缺条件下的更强泛化能力与鲁棒性。