[논문 리뷰] FedSDG-FS: Efficient and Secure Feature Selection for Vertical Federated Learning

Anran Li, Hongyi Peng외 5명|arXiv (Cornell University)|2023. 02. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedSDG-FS는 가우시안 스토하스틱 듀얼게이트와 부분 히든 암호화(PHE)를 사용하여 수직 연합 학습(VFL)을 위한 기밀성 보장, 효율적인 특성 선택 프레임워크를 제안한다. 이는 단지 두 번의 파rameter 전송만으로도 정확하고 적응형 특성 선택을 가능하게 하며, 통신 오버헤드를 크게 줄여 기존 방법들보다 모델 정확도와 안정성에서 뛰어난 성능을 발휘하면서도 데이터 및 레이블 기밀성을 보호한다.

ABSTRACT

Vertical Federated Learning (VFL) enables multiple data owners, each holding a different subset of features about largely overlapping sets of data sample(s), to jointly train a useful global model. Feature selection (FS) is important to VFL. It is still an open research problem as existing FS works designed for VFL either assumes prior knowledge on the number of noisy features or prior knowledge on the post-training threshold of useful features to be selected, making them unsuitable for practical applications. To bridge this gap, we propose the Federated Stochastic Dual-Gate based Feature Selection (FedSDG-FS) approach. It consists of a Gaussian stochastic dual-gate to efficiently approximate the probability of a feature being selected, with privacy protection through Partially Homomorphic Encryption without a trusted third-party. To reduce overhead, we propose a feature importance initialization method based on Gini impurity, which can accomplish its goals with only two parameter transmissions between the server and the clients. Extensive experiments on both synthetic and real-world datasets show that FedSDG-FS significantly outperforms existing approaches in terms of achieving accurate selection of high-quality features as well as building global models with improved performance.

연구 동기 및 목표

• 노이즈가 많거나 유용한 특성의 수에 대한 사전 지식이 없이도 수직 연합 학습(VFL)에서 효율적이고 안전한 특성 선택이 이루어지도록 하는 것.
• 학습 및 선택 과정 전반에 걸쳐 데이터와 레이블이 원본 소유자에게 그대로 유지되는 기밀성 보장 특성 선택을 가능하게 하는 것.
• 파arameter 전송 횟수와 임bedding 벡터 크기를 최소화하여 VFL에서의 통신 및 계산 오버헤드를 줄이는 것.
• 공동 학습 과정에서 고품질이면서 맥락에 맞는 특성을 정확히 식별하고 선택하여 글로벌 모델 성능을 향상시키는 것.
• 다양한 선택된 특성 수와 학습 라운드에서 높은 모델 정확도를 유지할 수 있는 안정적이고 적응형 특성 선택 메커니즘을 설계하는 것.

제안 방법

• 기울기 역전파가 가능한 기밀성 보장 방식으로 특성 선택 가능성 확률을 확률적으로 근사화하기 위해 가우시안 스토하스틱 듀얼게이트 기반 메커니즘을 도입한다.
• 서버와 클라이언트 간의 두 번의 파arameter 전송만으로도 빠르게 노이즈 특성을 걸러내기 위해 지니 불순도 기반 특성 중요도 초기화를 적용한다.
• 원시 데이터나 레이블을暴露하지 않고도 안전하게 특성 선택 점수를 계산하기 위해 부분 히든 암호화(PHE)를 활용한다.
• 특성 선택 및 모델 학습 과정에서 기밀성을 추가로 강화하기 위해 무작위 노이즈 메커니즘을 적용한다.
• 스토하스틱 듀얼게이트를 통해 임베딩 벡터 크기를 줄여 VFL 시스템에서의 통신 비용을 낮춘다.
• 특성 선택을 모델 학습 과정에 직접 통합하여 공동 최적화 및 맥락 인식 특성 선택을 가능하게 한다.

(a) Accuracy and model size vs. number of participating features

실험 결과

연구 질문

• RQ1 특성의 노이즈 또는 유용한 특성 수에 대한 사전 지식이 없이도 수직 연합 학습(VFL)에서 특성 선택을 어떻게 효율적이고 적응적으로 수행할 수 있는가?
• RQ2 데이터와 레이블이 소유자에게 기밀로 유지되는 조건에서 수직 연합 학습(VFL)에서 특성 선택을 어떻게 안전하게 수행할 수 있는가?
• RQ3 VFL 기반 특성 선택에서 통신 및 계산 오버헤드를 줄일 수 있는 메커니즘은 무엇인가?
• RQ4 선택된 특성 수와 학습 반복 횟수가 다양할 경우에도 특성 선택이 어떻게 안정적이고 정확하게 유지될 수 있는가?
• RQ5 분리된 특성 선택과 학습 방식에 비해 공동 학습 및 선택 프레임워크가 글로벌 모델 성능을 향상시킬 수 있는가?

주요 결과

• RELATHE 데이터셋에서 FedSDG-FS는 단지 0.44의 F1-스코어 임계값으로도 99.8%의 테스트 정확도를 달성하여 SFFS 및 원본 게이트 방법을 뛰어넘었다.
• ARCENE 데이터셋에서 FedSDG-FS는 0.59의 F1-스코어 임계값으로 99.7%의 정확도를 기록했으며, SFFS 및 MS-GINI 기준선을 크게 초월했다.
• 기본 기준 방법 대비 통신 비용이 50% 이상 감소했으며, ARCENE 및 GISETTE 데이터셋에서 각각 53.2%와 54.7%의 절감 효과를 보였다.
• 80번째 학습 라운드에서 테스트 정확도가 2.8% 감소하는 등 높은 안정성을 유지했으며, 원본 게이트 방법 대비 17.9%의 감소율을 보였다.
• 지니 불순도 기반 특성 중요도 초기화 덕분에 노이즈 특성이 신속히 걸러져 학습 시간이 단축되고 수렴 속도가 향상되었다.
• 탭류, 이미지, 텍스트, 오디오 데이터를 포함한 다양한 데이터셋에서 FedSDG-FS는 일관된 성능을 보이며, 그 강건성과 일반화 능력을 입증했다.

Figure 2: System overview of FedSDG-FS. $①$ Send encrypted embeddings, $②$ send encrypted gradients.