[论文解读] LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning

Timothy Castiglia, Yi Zhou+4 more|arXiv (Cornell University)|May 3, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

LESS-VFL 是一种用于纵向联邦学习的通信高效特征选择方法，可在初始训练阶段后无需持续通信，使各方协作识别并移除虚假特征。该方法可证明地消除无关特征，同时将通信成本降至现有方法的极小部分，且保持高模型准确率。

ABSTRACT

We propose LESS-VFL, a communication-efficient feature selection method for distributed systems with vertically partitioned data. We consider a system of a server and several parties with local datasets that share a sample ID space but have different feature sets. The parties wish to collaboratively train a model for a prediction task. As part of the training, the parties wish to remove unimportant features in the system to improve generalization, efficiency, and explainability. In LESS-VFL, after a short pre-training period, the server optimizes its part of the global model to determine the relevant outputs from party models. This information is shared with the parties to then allow local feature selection without communication. We analytically prove that LESS-VFL removes spurious features from model training. We provide extensive empirical evidence that LESS-VFL can achieve high accuracy and remove spurious features at a fraction of the communication cost of other feature selection approaches.

研究动机与目标

• 为解决纵向联邦学习（VFL）中特征选择效率低下且缺乏可证明正确性的问题，其中通信成本高且数据隐私至关重要。
• 设计一种方法，使各方在初始训练阶段后无需进一步通信即可执行本地特征选择。
• 正式证明该方法可在保留模型准确率和泛化能力的同时，移除虚假特征。
• 与现有 VFL 特征选择方法相比，实现更高的模型性能并显著降低通信开销。
• 支持深度神经网络，并实现在训练过程中进行特征选择，而非仅在训练后进行。

提出的方法

• LESS-VFL 从一个简短的预训练阶段开始，服务器与各方共同训练全局模型，以评估特征的相关性。
• 预训练结束后，服务器计算并分别向各方共享其模型输出的重要性，以指示哪些特征是相关的。
• 各方基于此信息执行本地特征选择，无需进一步通信，依据其自身模型组件的相关性进行决策。
• 该方法采用基于梯度的准则评估特征重要性，实现在训练过程中移除不重要特征。
• 该方法设计为与深度神经网络兼容，并支持在初始阶段后通信量极少的分布式训练。
• 理论分析证明，在较弱假设下，LESS-VFL 可移除虚假特征，确保模型的鲁棒性和泛化能力。

Figure 1 : Example VFL model architecture. Non-significant features and embedding components (in gray) are removed after training with LESS-VFL.

实验结果

研究问题

• RQ1 能否设计一种 VFL 特征选择方法，可提供可证明保证地移除虚假特征？
• RQ2 在纵向数据划分设置下，如何以最小通信量实现特征选择？
• RQ3 能否在初始通信阶段后，由各方独立完成本地特征选择，而无需进一步协调？
• RQ4 该方法在减少无关特征数量的同时，是否能保持高模型准确率？
• RQ5 LESS-VFL 的通信成本与现有 VFL 特征选择方法相比如何？

主要发现

• 即使存在虚假特征，LESS-VFL 仍能实现高测试准确率（例如，在 Sylva 数据集上达到 98.54%），优于基线方法。
• 在某些设置中，通信成本降低至基线方法的 1% 以下，如通信成本对比表所示。
• 在 Activity 数据集上，LESS-VFL 在存在虚假特征时仍保持 83.46% 的准确率，而基线方法在引入虚假特征后下降至 50.43%。
• 在高稀疏性设置下（例如，稀疏度为 0.01 或 0.005），LESS-VFL 在 Sylva 数据集上保持 98.5% 的准确率，而其他方法（如 Sylva）下降至 10% 或以下。
• 该方法可证明地移除虚假特征，如论文理论分析部分所正式证明。
• LESS-VFL 支持深度神经网络，并在训练过程中执行特征选择，而非训练后，从而实现高效且可扩展的部署。

Figure 2 : Test accuracy on the Activity dataset (details in Section 5 ). VFL (Original) denotes the test accuracy of running Algorithm 2 with the original dataset. VFL (Spurious) denotes the test accuracy on the dataset with spurious features added in. The solid line is the average of $5$ runs and