[논문 리뷰] Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners

Vaikkunth Mugunthan, Pawan Goyal외 1명|arXiv (Cornell University)|2021. 06. 10.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 6

한 줄 요약

이 논문은 다수의 데이터 소유자(D)와 다수의 레이블 소유자(K)가 있는 시나리오를 위한 수평적联邦학습(VFL) 프레임워크인 Multi-VFL을 제안한다. 이는 원시 데이터를 공유하지 않고도 협업 학습을 가능하게 하며, 스플릿 학습과 적응형 연합 최적화기(FedDemonAdam 등)를 결합하여 MNIST 및 FashionMNIST 데이터셋에서 빠른 수렴과 향상된 정확도를 보인다. 특히 비독립 동일분포(Non-IID) 레이블 분포 상황에서 유의미한 성능 향상을 보인다.

ABSTRACT

Vertical Federated Learning (VFL) refers to the collaborative training of a model on a dataset where the features of the dataset are split among multiple data owners, while label information is owned by a single data owner. In this paper, we propose a novel method, Multi Vertical Federated Learning (Multi-VFL), to train VFL models when there are multiple data and label owners. Our approach is the first to consider the setting where $D$-data owners (across which features are distributed) and $K$-label owners (across which labels are distributed) exist. This proposed configuration allows different entities to train and learn optimal models without having to share their data. Our framework makes use of split learning and adaptive federated optimizers to solve this problem. For empirical evaluation, we run experiments on the MNIST and FashionMNIST datasets. Our results show that using adaptive optimizers for model aggregation fastens convergence and improves accuracy.

연구 동기 및 목표

• 의료 분야 등 실제 응용에서 흔한 다수의 데이터 소유자와 다수의 레이블 소유자가 있는 상황에서 수평적 연합 학습(VFL)의 격차를 해소한다.
• 다수의 레이블 소유자 간 비독립 동일분포(Non-IID) 레이블 분포로 인한 클라이언트 드리프트와 낮은 수렴성 문제를 해결한다.
• 수렴 과정에 적응형 최적화기(FedAdam, FedYogi, FedDemonAdam 등)를 통합하여 수평적 VFL에서 모델 성능을 향상시킨다.
• 개인정보 보호를 위해 원시 데이터를 공유하지 않고도 분산된 실체 간 협업을 가능하게 하며, 개인식별자 노출 없이 개인식별자 교차검색(Private Set Intersection, PSI)을 통해 안전하게 중복된 개인을 식별한다.
• MNIST 및 FashionMNIST에서의 실험적 평가를 통해 비독립 동일분포(Non-IID) 조건 하에서 적응형 최적화기의 효과를 입증한다.

제안 방법

• D명의 데이터 소유자 간에 특징을 분산하고, K명의 레이블 소유자 간에 레이블을 분산하여 원시 데이터 공유 없이 공유된 딥 네트워크를 훈련한다.
• 신경망 내에서 컷 레이어를 도입하여 데이터 소유자가 활성화를 계산하고 이를 레이블 소유자에게 전달하여 순방향 전파를 수행한다.
• 레이블 측에서 역전파를 수행하고 컷 레이어에서 그래디언트를 분할하여 각각의 데이터 소유자에게 반환하여 국소 가중치 업데이트를 수행한다.
• K명의 레이블 소유자로부터 온 모델 업데이트를 통합하기 위해 서버 측 집계 메커니즘을 구현하며, 연합 최적화기(FedAvg, FedAdam, FedYogi, FedDemonAdam)를 사용한다.
• Adam 기반 최적화기에서 동적 모멘텀을 조정하기 위해 Demon(감쇠 모멘텀) 규칙을 적용하여 비독립 동일분포(Non-IID) 조건에서의 수렴성을 향상시킨다.
• 원시 식별자를 폭 lộ하지 않고도 데이터 소유자와 레이블 소유자 간에 겹치는 개인을 안전하게 식별하기 위해 개인식별자 교차검색(Private Set Intersection, PSI)을 통합한다.

실험 결과

연구 질문

• RQ1 다수의 데이터 소유자와 다수의 레이블 소유자가 있는 상황에서 수평적 연합 학습이 효과적으로 확장될 수 있는가?
• RQ2 다수의 레이블 소유자 간 비독립 동일분포(Non-IID) 레이블 분포가 수평적 VFL에서 모델 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 비독립 동일분포(Non-IID) 레이블 조건 하에서 적응형 연합 최적화기(FedAdam, FedDemonAdam 등)가 FedAvg에 비해 수렴 속도와 최종 정확도에서 뛰어난가?
• RQ4 적응형 최적화기 통합이 다수의 레이블 소유자 환경에서 클라이언트 드리프트를 완화하고 모델 성능을 향상시킬 수 있는가?
• RQ5 레이블 분포 다양성(일부 소유자는 전체 레이블을, 일부는 부분 집합만 소유)이 전체 훈련 성능에 어떤 영향을 미치는가?

주요 결과

• 5개 레이블 소유자 중 4명이 매우 비독립 동일분포(Non-IID) 레이블 분포를 가진 4niid 시나리오에서, FedAvg는 500 에포크 후 수렴하지 못한다. 특히 FashionMNIST 데이터셋에서 그러한 경향이 두드러진다.
• FedDemonAdam 및 FedYogi와 같은 적응형 최적화기는 비독립 동일분포(Non-IID) 조건 하에서 FedAvg에 비해 수렴 속도와 최종 정확도를 크게 향상시킨다.
• FashionMNIST 데이터셋에서 적응형 최적화기는 FedAvg 대비 모델 정확도를 2–3% 향상시키며, 도전적인 데이터 분포 환경에서의 효과를 입증한다.
• 비독립 동일분포(Non-IID) 레이블 소유자 수가 증가할수록 모델 정확도가 감소함을 확인하여, FedAvg에 대한 레이블 분포 왜곡의 부정적 영향을 확인한다.
• 제안된 Multi-VFL 프레임워크는 원시 데이터를 공유하지 않고도 다수의 데이터 소유자와 레이블 소유자 간에 안정적인 수렴을 달성하는 모델 훈련을 성공적으로 수행한다.
• Adam 기반 최적화에 Demon(감쇠 모멘텀) 규칙을 통합함으로써 국소 비독립 동일분포(Non-IID) 환경에서 성능 향상을 달성하였으며, 이는 연합 환경에서의 효과성을 검증한다.