[논문 리뷰] Vertical Federated Learning: Concepts, Advances and Challenges

Yang Liu, Yan Kang외 7명|arXiv (Cornell University)|2022. 11. 23.

Privacy-Preserving Technologies in Data참고 문헌 179인용 수 20

한 줄 요약

Vertical Federated Learning (VFL)에 대한 포괄적 고찰로, 개념, 아키텍처, 프라이버시 보호 프로토콜, 효율성, 효과성, 보안 및 향후 방향을 제안된 VFLow 프레임워크를 통해 다룹니다.

ABSTRACT

Vertical Federated Learning (VFL) is a federated learning setting where multiple parties with different features about the same set of users jointly train machine learning models without exposing their raw data or model parameters. Motivated by the rapid growth in VFL research and real-world applications, we provide a comprehensive review of the concept and algorithms of VFL, as well as current advances and challenges in various aspects, including effectiveness, efficiency, and privacy. We provide an exhaustive categorization for VFL settings and privacy-preserving protocols and comprehensively analyze the privacy attacks and defense strategies for each protocol. In the end, we propose a unified framework, termed VFLow, which considers the VFL problem under communication, computation, privacy, as well as effectiveness and fairness constraints. Finally, we review the most recent advances in industrial applications, highlighting open challenges and future directions for VFL.

연구 동기 및 목표

• VFL 개념, 형식화 및 학습 절차에 대한 철저한 개요를 제공한다.
• 공격 및 방어 분석과 함께 VFL 설정 및 프라이버시 보존 프로토콜을 분류한다.
• 통신, 연산, 프라이버시 및 공정성을 포함하는 통합 최적화 프레임워크(VFLow)를 제안한다.
• VFL에서 효율성, 효과성, 프라이버시 및 보안을 개선하기 위한 전략을 검토한다.
• 산업적 응용, 과제 및 향후 연구 방향을 논의한다.

제안 방법

• 특징 공간 데이터 분할과 활성/수동 파티 역할을 포함한 VFL 문제를 정의한다.
• splitVFL, aggVFL 및 활성 특성 소유자 여부에 따른 변형을 포함한 통합 VFL 분류를 제시한다.
• 사적 엔터티 정렬과 중간 결과를 포함한 프라이버시 보호 학습의 두 단계 VFL 학습 프로토콜을 상세히 설명한다.
• 프라이버시 보호 기술(HE, MPC, DP, TEE)과 프로토콜별 관련 공격/방어를 조사한다.
• 통신, 연산, 프라이버시, 효과성 및 공정성을 수용하도록 VFL 정의를 확장하는 VFLow 프레임워크를 소개한다.
• 다중 업데이트, 비동기 조정, 원샷 통신, 압축, 샘플/특성 선택과 같은 효율성 기법과 자기지도 학습, 준지도 학습 및 지식 증류를 통한 효과성 향상에 대해 논의한다.

실험 결과

연구 질문

• RQ1 수직으로 분할된 데이터 설정에서 핵심 아키텍처 변형과 학습 프로토콜은 무엇인가?
• RQ2 실제 배포 전반에서 프라이버시, 효율성 및 효과성을 동시에 어떻게 다룰 수 있는가?
• RQ3 VFL의 설계 공간과 trade-off를 가장 잘 포착하는 분류체계와 통합 프레임워크는 무엇인가?
• RQ4 VFL의 산업적 응용에서 두드러진 도전과 향후 방향은 무엇인가?
• RQ5 프라이버시 공격/방어가 VFL 프로토콜 간에 어떻게 다른가 및 이를 어떻게 완화할 수 있는가?

주요 결과

• 본 논문은 VFL 설정과 프라이버시 보존 프로토콜의 포괄적 범주화를 제공합니다.
• 통신, 연산, 프라이버시, 효과성 및 공정성을 고려하기 위한 통합 프레임워크(VFLow)가 제안되었습니다.
• 프라이버시 공격과 방어 전략은 다양한 VFL 프로토콜(HE, MPC, DP, TEE 등)에서 분석됩니다.
• 다중 업데이트, 비동기 조정, 원샷 통신, 압축 및 데이터/특성 선택 등의 다수의 효율성 기법이 그 트레이드오프와 함께 검토됩니다.
• 자기지도 학습, 준지도 학습 및 지식 증류를 통한 라벨이 없거나 정렬되지 않은 데이터 활용의 효과성 향상에 대해 조망합니다.
• 이 조사는 산업적 응용, 남아 있는 도전 과제 및 VFL 생태계 구축 방향에 대해 논의합니다.