[论文解读] Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation

Rongyu Zhang, Xiaowei Chi+4 more|arXiv (Cornell University)|Mar 27, 2023

Traffic Prediction and Management Techniques被引用 5

一句话总结

本文提出 HA-Fedformer，一种用于跨模态联邦学习的分层聚合框架，可在仅使用单模态数据的训练客户端上实现多模态预测。通过结合不确定性感知的编码器聚合与跨模态解码器对齐，其在 CMU-MOSI 和 CMU-MOSEI 基准测试中相比 SOTA 方法实现了 15–20% 的性能提升。

ABSTRACT

Multimodal learning has seen great success mining data features from multiple modalities with remarkable model performance improvement. Meanwhile, federated learning (FL) addresses the data sharing problem, enabling privacy-preserved collaborative training to provide sufficient precious data. Great potential, therefore, arises with the confluence of them, known as multimodal federated learning. However, limitation lies in the predominant approaches as they often assume that each local dataset records samples from all modalities. In this paper, we aim to bridge this gap by proposing an Unimodal Training - Multimodal Prediction (UTMP) framework under the context of multimodal federated learning. We design HA-Fedformer, a novel transformer-based model that empowers unimodal training with only a unimodal dataset at the client and multimodal testing by aggregating multiple clients' knowledge for better accuracy. The key advantages are twofold. Firstly, to alleviate the impact of data non-IID, we develop an uncertainty-aware aggregation method for the local encoders with layer-wise Markov Chain Monte Carlo sampling. Secondly, to overcome the challenge of unaligned language sequence, we implement a cross-modal decoder aggregation to capture the hidden signal correlation between decoders trained by data from different modalities. Our experiments on popular sentiment analysis benchmarks, CMU-MOSI and CMU-MOSEI, demonstrate that HA-Fedformer significantly outperforms state-of-the-art multimodal models under the UTMP federated learning frameworks, with 15%-20% improvement on most attributes.

研究动机与目标

• 解决现有多模态联邦学习方法要求所有客户端均具备多模态数据的局限性。
• 在客户端仅拥有单模态数据（如文本、音频、视频）的情况下，实现有效的多模态模型训练，同时保护数据隐私。
• 应对单模态训练设置中数据非独立同分布（non-IID）分布和模态序列未对齐的挑战。
• 开发一种新颖的聚合策略，实现从单模态模型中融合知识，而无需直接共享数据。

提出的方法

• 提出单模态训练-多模态预测（UTMP）框架，客户端在单模态数据上进行训练，但全局模型支持多模态推理。
• 提出 HA-Fedformer，一种基于 Transformer 的模型，包含模态特定的编码器和共享的跨模态解码器，用于特征融合。
• 采用基于后验分布的编码器聚合（PbEA），通过逐层马尔可夫链蒙特卡洛采样估计不确定性，缓解数据非独立同分布的影响。
• 设计跨模态解码器聚合（CmDA），通过捕捉模型权重中隐藏信号的相关性，对齐在不同模态上训练的解码器。
• 采用分层聚合策略：PbEA 用于编码器，CmDA 用于解码器，实现在单模态客户端之间的稳健知识蒸馏。
• 采用基于验证损失的收敛性监控与统计显著性检验（Wilcoxon 符号秩检验）评估鲁棒性。

实验结果

研究问题

• RQ1 当客户端仅贡献单模态数据时，能否在联邦学习中有效训练多模态模型？
• RQ2 当本地模型在仅具有简单表示（如文本）的单模态数据上训练时，如何缓解数据非独立同分布问题？
• RQ3 能否利用在不同模态上训练的解码器之间的隐藏信号相关性，实现无需特征级对齐的未对齐序列对齐？
• RQ4 与标准联邦平均方法相比，HA-Fedformer 在 UTMP 设置下对编码器和解码器进行分层聚合是否显著提升性能？

主要发现

• HA-Fedformer 在 CMU-MOSEI 上达到 0.625 的相关性分数（Corr），在 CMU-MOSI 上达到 0.54，相比基线方法提升 15–20%。
• 该模型显著优于 FedMSplit 和其他 SOTA 基线方法，在所有指标上的一维 Wilcoxon 符号秩检验结果均显示 p < 0.01。
• 消融研究显示，移除任意模态均导致性能下降，其中文本（L）的影响最大，但双模态训练仍优于大多数基线方法。
• 分层聚合（PbEA + CmDA）带来显著性能提升，尤其在 Acc7 和 Corr 指标上，证明其在应对非独立同分布和未对齐数据方面的有效性。
• PbEA 中最优样本数 S = 5 或 7 时性能最佳；S = 10 导致过拟合，表明收敛速度与泛化能力之间存在权衡。
• 在模态缺失场景下（MR = 0.3 至 0.7），HA-Fedformer 保持强鲁棒性，即使在 70% 模态缺失率下仍优于 FedMSplit。