[論文レビュー] LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning

Timothy Castiglia, Yi Zhou+4 more|arXiv (Cornell University)|May 3, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

LESS-VFL は、初期トレーニングフェーズの後、継続的な通信を必要とせずに、参加者がごまかし特徴（スルーレイテンス特徴）を共同で特定・削除できる、通信効率の高い特徴選択手法である。既存の手法と比較して通信コストを大幅に削減しつつ、誤った特徴を確実に排除し、高いモデル精度を維持することが可能である。

ABSTRACT

We propose LESS-VFL, a communication-efficient feature selection method for distributed systems with vertically partitioned data. We consider a system of a server and several parties with local datasets that share a sample ID space but have different feature sets. The parties wish to collaboratively train a model for a prediction task. As part of the training, the parties wish to remove unimportant features in the system to improve generalization, efficiency, and explainability. In LESS-VFL, after a short pre-training period, the server optimizes its part of the global model to determine the relevant outputs from party models. This information is shared with the parties to then allow local feature selection without communication. We analytically prove that LESS-VFL removes spurious features from model training. We provide extensive empirical evidence that LESS-VFL can achieve high accuracy and remove spurious features at a fraction of the communication cost of other feature selection approaches.

研究の動機と目的

• 通信コストが高く、データプライバシーが重要な状況において、非効率的で形式的に正しくない特徴選択が生じる垂直フェデレーテッドラーニング（VFL）の課題に対処すること。
• 初期トレーニングフェーズの後、さらなる通信なしに参加者がローカルで特徴選択を実行できる手法を設計すること。
• この手法が、誤った特徴を除去しながらモデルの精度と一般化性能を維持することを形式的に証明すること。
• 既存の VFL 特徴選択手法と比較して、顕著に低い通信オーバーヘッドで高いモデル性能を達成すること。
• 深層ニューラルネットワークをサポートし、トレーニング中に行う特徴選択を可能にし、トレーニング後での選択にとどまらないこと。

提案手法

• LESS-VFL は、サーバーと参加者が共同でグローバルモデルをトレーニングする短い事前トレーニングフェーズから開始し、特徴の関連性を評価する。
• 事前トレーニング後、サーバーは各参加者に自身のモデル出力の重要度を計算して共有し、どの特徴が関連しているかを示す。
• 各参加者はこの情報をもとに、自身のモデルコンponentsの関連性に基づき、さらなる通信なしにローカル特徴選択を実行する。
• この手法は勾配に基づく基準を用いて特徴の重要度を評価し、トレーニング中に重要でない特徴を削除できる。
• このアプローチは深層ニューラルネットワークと互換性があり、初期フェーズ以降の通信を最小限に抑えた分散トレーニングを可能にする。
• 理論的分析により、弱い仮定のもとで LESS-VFL が誤った特徴を除去できることを証明しており、モデルのロバストネスと一般化性能を保証する。

Figure 1 : Example VFL model architecture. Non-significant features and embedding components (in gray) are removed after training with LESS-VFL.

実験結果

リサーチクエスチョン

• RQ1 誤った特徴を形式的保証のもとで除去できる VFL 特徴選択手法を設計できるか？
• RQ2 垂直分割されたデータ環境において、最小限の通信で特徴選択を実現できるか？
• RQ3 初期通信フェーズの後、参加者が協調せずにローカルで特徴選択を実行できるか？
• RQ4 誤った特徴の数を減らしても、モデルの精度が高く維持されるか？
• RQ5 LESS-VFL の通信コストは、既存の VFL 特徴選択手法と比較してどの程度低いのか？

主な発見

• LESS-VFL は、誤った特徴が存在する状況でも高いテスト精度（例：Sylva データセットで 98.54%）を達成し、ベースライン手法を上回る。
• 通信コスト比較表によると、一部の設定ではベースラインの 1% 未満まで通信コストを削減している。
• Activity データセットでは、LESS-VFL は誤った特徴が存在しても 83.46% の精度を維持するが、ベースラインは誤った特徴が追加されると 50.43% まで低下する。
• 高スパarsity（例：0.01 または 0.005）の条件下でも、LESS-VFL は Sylva データセットで 98.5% の精度を維持するが、Sylva などの他の手法は 10% 以下まで低下する。
• 理論的分析セクションで形式的に証明されたように、LESS-VFL は誤った特徴を確実に除去する。
• LESS-VFL は深層ニューラルネットワークをサポートし、トレーニング中に行う特徴選択を可能にし、トレーニング後の選択にとどまらないため、効率的でスケーラブルな展開が可能である。

Figure 2 : Test accuracy on the Activity dataset (details in Section 5 ). VFL (Original) denotes the test accuracy of running Algorithm 2 with the original dataset. VFL (Spurious) denotes the test accuracy on the dataset with spurious features added in. The solid line is the average of $5$ runs and