[论文解读] Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data

Timothy Castiglia, Anirban Das+2 more|arXiv (Cornell University)|Jun 16, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出压缩垂直联邦学习（C-VFL），一种针对垂直划分数据的通信高效框架，各参与方可对模型嵌入进行压缩后再共享，从而在几乎不损失准确率的情况下将通信量减少90%以上。该工作首次对VFL中的嵌入压缩提供了理论收敛性分析，证明在压缩误差有界的条件下收敛速率为$O(1/√{T})$，并建立了量化与top-$k$稀疏化实现收敛的条件。

ABSTRACT

We propose Compressed Vertical Federated Learning (C-VFL) for communication-efficient training on vertically partitioned data. In C-VFL, a server and multiple parties collaboratively train a model on their respective features utilizing several local iterations and sharing compressed intermediate results periodically. Our work provides the first theoretical analysis of the effect message compression has on distributed training over vertically partitioned data. We prove convergence of non-convex objectives at a rate of $O(\frac{1}{\sqrt{T}})$ when the compression error is bounded over the course of training. We provide specific requirements for convergence with common compression techniques, such as quantization and top-$k$ sparsification. Finally, we experimentally show compression can reduce communication by over $90\%$ without a significant decrease in accuracy over VFL without compression.

研究动机与目标

• 解决垂直联邦学习（VFL）中因大尺寸嵌入导致的高通信成本问题，尤其是在数据垂直划分的场景下。
• 通过压缩中间嵌入而非梯度，实现VFL中的通信效率提升，此方法与水平联邦学习中常见的梯度压缩相比具有新颖性。
• 首次为VFL中嵌入压缩提供理论收敛性分析，明确在何种条件下可保持全局模型收敛。
• 通过推导量化与top-$k$稀疏化等常见技术的压缩参数边界，确保方法在实际应用中的可行性。
• 通过实证结果表明，压缩可使通信量减少90%以上，且对模型准确率影响极小。

提出的方法

• C-VFL采用块坐标下降法，并引入多个本地迭代（Q > 1），以降低全局通信频率。
• 各参与方通过神经网络计算本地嵌入，并在发送至服务器前使用量化或top-$k$稀疏化等技术对嵌入进行压缩。
• 服务器聚合压缩后的嵌入，计算全局损失，并仅将每个参与方嵌入对应的梯度反馈回去，以减少通信开销。
• 各参与方利用链式法则计算本地梯度：$\nabla_{m}F = \nabla_{\theta_{m}}h_{m} \cdot \nabla_{h_{m}}F$，从而实现本地模型更新。
• 该框架支持任意服务器模型，且通过在嵌入层面引入压缩，推广了先前的VFL方法。
• 采用两种算法变体：当Q > 1时使用算法1（多轮本地更新）；当Q = 1时使用算法2（每轮仅单次压缩嵌入传输）

实验结果

研究问题

• RQ1 在VFL中对嵌入进行压缩，是否能在不降低模型收敛性或准确率的前提下实现显著的通信量减少？
• RQ2 压缩误差需满足何种理论条件，才能确保使用压缩嵌入的VFL全局模型实现收敛？
• RQ3 常见的压缩技术如量化与top-$k$稀疏化如何影响VFL中的收敛性？何种参数设置可保证收敛？
• RQ4 在C-VFL中使用多个本地迭代（Q > 1）是否能相比单次迭代传输降低总通信成本，尽管单轮开销更高？
• RQ5 在MIMIC-III等真实数据集上，C-VFL是否能在通信量减少90%以上的同时保持高模型准确率？

主要发现

• 在MIMIC-III数据集上，C-VFL相比非压缩VFL实现通信成本减少90%以上，且准确率损失可忽略不计。
• 当目标F1分数为0.4时，通信量从无压缩时的4517.59 MB降至使用3-bit向量量化且Q=25时的125.09 MB。
• 当Q=1时，算法2虽降低了每轮通信成本，但需更多全局轮次，导致总通信量高于Q>1时的算法1。
• 理论分析证明，在压缩误差有界的条件下，收敛速率可达$O(1/\sqrt{T})$，与非压缩VFL性能相当。
• 对于量化，3-bit表示可确保收敛，前提是压缩误差有界；对于top-$k$稀疏化，稀疏度水平必须足够高才能维持收敛。
• 实证结果表明，尽管单轮通信成本更高，使用Q>1可显著降低总通信成本，因为所需全局轮次更少。