[논문 리뷰] LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning

Timothy Castiglia, Yi Zhou외 4명|arXiv (Cornell University)|2023. 05. 03.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

LESS-VFL은 수직联邦학습에서 의사소통 비용을 줄이는 특성 선택 방법으로, 초기 학습 단계 이후 지속적인 통신 없이도 당사자들이 함께 유사한 특성을 식별하고 제거할 수 있도록 한다. 이는 기존 방법에 비해 통신 비용의 일부에 불과한 수준에서 비효율적인 특성을 증명 가능하게 제거하면서도 높은 모델 정확도를 유지한다.

ABSTRACT

We propose LESS-VFL, a communication-efficient feature selection method for distributed systems with vertically partitioned data. We consider a system of a server and several parties with local datasets that share a sample ID space but have different feature sets. The parties wish to collaboratively train a model for a prediction task. As part of the training, the parties wish to remove unimportant features in the system to improve generalization, efficiency, and explainability. In LESS-VFL, after a short pre-training period, the server optimizes its part of the global model to determine the relevant outputs from party models. This information is shared with the parties to then allow local feature selection without communication. We analytically prove that LESS-VFL removes spurious features from model training. We provide extensive empirical evidence that LESS-VFL can achieve high accuracy and remove spurious features at a fraction of the communication cost of other feature selection approaches.

연구 동기 및 목표

• 수직联邦학습(VFL)에서 높은 통신 비용과 데이터 기밀 보장이 중요한 상황에서 비효율적이고 증명 가능하지 않은 특성 선택 문제를 해결하기 위해.
• 초기 학습 단계 이후 추가적인 통신 없이도 당사자들이 로컬에서 특성 선택을 수행할 수 있도록 하는 방법을 설계하기 위해.
• 이 방법이 유사한 특성을 제거하면서도 모델 정확도와 일반화 능력을 유지함을 공식적으로 증명하기 위해.
• 기존 VFL 특성 선택 방법에 비해 상당히 감소된 통신 오버헤드를 달성하면서도 높은 모델 성능을 확보하기 위해.
• 딥 네ural 네트워크를 지원하고, 학습 도중에 특성 선택을 수행함으로써 후처리 단계가 아닌 학습 중에 특성 선택이 가능하도록 하기 위해.

제안 방법

• LESS-VFL은 서버와 당사자들이 공동으로 전역 모델을 훈련하여 특성의 관련성을 평가하는 짧은 사전 훈련 단계에서 시작한다.
• 사전 훈련 이후, 서버는 각 당사자와 자신의 모델 출력의 중요도를 계산하고 공유하며, 이는 어떤 특성이 관련성이 있는지를 나타낸다.
• 각 당사자는 이 정보를 바탕으로 자신의 모델 구성 요소의 관련성에 따라 추가 통신 없이 로컬에서 특성 선택을 수행한다.
• 이 방법은 기울기 기반 기준을 사용하여 특성 중요도를 평가하여, 학습 도중 중요하지 않은 특성을 제거할 수 있다.
• 이 방법은 딥 네ural 네트워크와 호환되며, 초도 단계 이후 최소한의 통신으로 분산 훈련을 지원하도록 설계되어 있다.
• 이론적 분석을 통해 LESS-VFL은 약한 가정 하에 유사한 특성을 제거함을 증명하며, 모델의 강건성과 일반화 능력을 보장한다.

Figure 1 : Example VFL model architecture. Non-significant features and embedding components (in gray) are removed after training with LESS-VFL.

실험 결과

연구 질문

• RQ1 유사한 특성을 증명 가능하게 제거할 수 있는 VFL 특성 선택 방법을 설계할 수 있는가?
• RQ2 수직적으로 분할된 데이터 환경에서 최소한의 통신으로 특성 선택을 수행할 수 있는가?
• RQ3 초기 통신 단계 이후 추가로 조율 없이 각 당사자가 로컬에서 특성 선택을 수행할 수 있는가?
• RQ4 이 방법은 비관련 특성의 수를 줄이면서도 높은 모델 정확도를 유지하는가?
• RQ5 LESS-VFL의 통신 비용은 기존의 VFL 특성 선택 방법과 비교해 어떻게 되는가?

주요 결과

• LESS-VFL은 Sylva 데이터셋에서 98.54%의 높은 테스트 정확도를 기록하며, 유사한 특성이 존재하는 상황에서도 베이스라인 방법을 능가한다.
• 통신 비용 비교 표에 따르면, 일부 설정에서는 베이스라인 대비 통신 비용을 1% 미만으로 줄였다.
• Activity 데이터셋에서 LESS-VFL은 유사한 특성이 존재하는 상황에서도 83.46%의 정확도를 유지하지만, 베이스라인은 유사한 특성이 추가될 경우 50.43%로 떨어진다.
• 고희소성(예: 0.01 또는 0.005)이 있는 실험에서는 LESS-VFL이 Sylva 데이터셋에서 98.5%의 정확도를 유지하는 반면, Sylva와 같은 다른 방법들은 10% 이하로 떨어진다.
• 논문의 이론적 분석 섹션에서 공식적으로 증명된 바와 같이, 이 방법은 증명 가능하게 유사한 특성을 제거한다.
• LESS-VFL은 딥 네ural 네트워크를 지원하며, 학습 도중에 특성 선택을 수행함으로써 후처리 단계가 아닌 학습 중에 특성 선택이 가능하게 하여 효율적이고 확장 가능한 구현을 가능하게 한다.

Figure 2 : Test accuracy on the Activity dataset (details in Section 5 ). VFL (Original) denotes the test accuracy of running Algorithm 2 with the original dataset. VFL (Spurious) denotes the test accuracy on the dataset with spurious features added in. The solid line is the average of $5$ runs and