[论文解读] FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and Multi-Clients

Daixun Li, Weiying Xie+4 more|arXiv (Cornell University)|Nov 16, 2023

Remote-Sensing Image Classification被引用 4

一句话总结

FedDiff 提出了一种新颖的联邦学习框架，通过集成扩散模型实现跨多个客户端的隐私保护、多模态遥感数据融合。通过采用双分支编码器分别处理高光谱和LiDAR数据，并利用跨分支去噪连接，FedDiff 在降低通信成本的同时实现了最先进的分类准确率（96.77% OA），标志着扩散模型首次应用于异构多模态数据的联邦学习。

ABSTRACT

With the rapid development of imaging sensor technology in the field of remote sensing, multi-modal remote sensing data fusion has emerged as a crucial research direction for land cover classification tasks. While diffusion models have made great progress in generative models and image classification tasks, existing models primarily focus on single-modality and single-client control, that is, the diffusion process is driven by a single modal in a single computing node. To facilitate the secure fusion of heterogeneous data from clients, it is necessary to enable distributed multi-modal control, such as merging the hyperspectral data of organization A and the LiDAR data of organization B privately on each base station client. In this study, we propose a multi-modal collaborative diffusion federated learning framework called FedDiff. Our framework establishes a dual-branch diffusion model feature extraction setup, where the two modal data are inputted into separate branches of the encoder. Our key insight is that diffusion models driven by different modalities are inherently complementary in terms of potential denoising steps on which bilateral connections can be built. Considering the challenge of private and efficient communication between multiple clients, we embed the diffusion model into the federated learning communication structure, and introduce a lightweight communication module. Qualitative and quantitative experiments validate the superiority of our framework in terms of image quality and conditional consistency.

研究动机与目标

• 为解决在不暴露原始数据的前提下，跨多个客户端安全融合异构多模态遥感数据（如高光谱成像 HSI 和 LiDAR）的挑战。
• 克服现有单模态和单客户端扩散模型在联邦设置下的局限性，特别是在处理分布式、高维和异构数据方面的不足。
• 开发一种轻量级、高效的通信模块，实现在保护数据隐私的前提下，客户端之间的安全特征交换。
• 通过利用不同模态在扩散过程中互补的去噪能力，实现有效的特征级融合。

提出的方法

• FedDiff 采用双分支编码器架构，其中 HSI 和 LiDAR 数据通过独立的编码器分别处理，以提取模态特定的特征。
• 该框架基于模态间互补的去噪潜力，在两个分支之间建立双向连接，从而在扩散过程中增强特征精炼效果。
• 轻量级通信模块传输中间特征而非原始数据，从而在保护隐私的同时最小化通信开销。
• 通过使用这些中间特征进行联邦平均，全局模型得以更新，实现在不共享数据的前提下协同学习。
• 扩散模型以端到端的条件生成方式训练，其中去噪过程由多模态特征引导，以提升重建质量和分类性能。
• 引入频域分析，通过滤波或强调特定的光谱-空间成分，增强特征表示能力。

实验结果

研究问题

• RQ1 扩散模型能否被有效适配到联邦学习框架中，以实现多模态遥感数据融合？
• RQ2 如何在联邦设置中利用不同模态（如 HSI 和 LiDAR）之间的互补去噪能力，以提升特征表示？
• RQ3 与原始数据相比，使用中间特征交换对通信效率和模型性能有何影响？
• RQ4 在多模态遥感数据集上，FedDiff 与现有方法相比，在分类准确率和通信成本方面表现如何？
• RQ5 在联邦扩散学习设置中，频域滤波的集成是否能提升融合特征的鲁棒性和表达能力？

主要发现

• FedDiff 在三个多模态遥感数据集上实现了 96.77% 的平均分类准确率，优于现有方法，在准确率和通信效率方面均表现更优。
• 在 MUUFL 数据集上，FedDiff 实现了 95.32% 的总体准确率（OA），较次优方法（MFT 为 94.34%）高出 0.98 个百分点。
• 通过仅传输中间特征而非原始数据，该框架显著降低了通信成本，使在分布式环境中实现可扩展部署成为可能。
• 可视化结果表明，与依赖光谱单一表示的传统方法相比，FedDiff 生成的分类图更加平滑、噪声更少。
• FedDiff 在分类具有挑战性的类别（如水体和建筑物阴影）方面表现更优，在 MUUFL 数据集上分别实现了 96.84% 和 90.52% 的准确率。
• 频域滤波的集成增强了特征表示，使纹理表达更精细，并在分类任务中提升了泛化能力。