[논문 리뷰] Asymmetrical Vertical Federated Learning

Yang Liu, Xiong Zhang외 1명|arXiv (Cornell University)|2020. 04. 16.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 31

한 줄 요약

이 논문은 샘플 ID 프라이버시를 보호하기 위해 비대칭 수직 연합학습(AVFL)을 도입하고, Pohlig-Hellman 실현을 갖춘 비대칭 프라이빗 세트 교차(APSI) 프로토콜을 개발하며, Federated Logistic Regression를 통해 검증된 Genuine with Dummy (GWD) 학습 방법을 제시합니다.

ABSTRACT

Federated learning is a distributed machine learning method that aims to preserve the privacy of sample features and labels. In a federated learning system, ID-based sample alignment approaches are usually applied with few efforts made on the protection of ID privacy. In real-life applications, however, the confidentiality of sample IDs, which are the strongest row identifiers, is also drawing much attention from many participants. To relax their privacy concerns about ID privacy, this paper formally proposes the notion of asymmetrical vertical federated learning and illustrates the way to protect sample IDs. The standard private set intersection protocol is adapted to achieve the asymmetrical ID alignment phase in an asymmetrical vertical federated learning system. Correspondingly, a Pohlig-Hellman realization of the adapted protocol is provided. This paper also presents a genuine with dummy approach to achieving asymmetrical federated model training. To illustrate its application, a federated logistic regression algorithm is provided as an example. Experiments are also made for validating the feasibility of this approach.

연구 동기 및 목표

• 정의하고 형식화된 비대칭 수직 연합학습(AVFL)을 도입하고 이를 대칭적 수직 FL과 구별한다.
• ID 정렬 중 약한 파티의 ID를 보호하기 위해 프라이빗 세트 교차(PSI)를 адап트한다.
• Pohlig-Hellman 기반 APSI 구현을 제공하고 그 보안 속성을 분석한다.
• 비대칭 모델 학습을 위한 Genuine with Dummy(GWD) 접근법을 제안한다.
• Federated Logistic Regression 예제를 통해 AVFL을 시연하고 실험으로 실현 가능성을 검증한다.

제안 방법

• 전-ID 정렬 전 공간에 따라 수직 FL을 대칭 및 비대칭으로 형식적으로 분류한다.
• 비공개 교차를 유지하는 약한 파티가 교차를 알 수 있도록 obf를 산출하는 비대칭 PSI(APSI)를 도입한다.
• Pohlig-Hellman 기반 APSI 프로토콜을 제공하고 obf와 교차의 보안 속성을 입증한다.
• 결과를 SVFL과 동일하게 유지하면서 비대칭 학습을 보장하기 위해 신뢰할 수 있는 조정자를 둔 Genuine with Dummy(GWD) 학습 프레임워크를 제안한다.
• 비대칭 수직 로지스틱 회귀에 GWD를 적용하고 암호화된 그래디언트 계산 및 업데이트를 자세히 설명한다.

실험 결과

연구 질문

• RQ1 약한 ID 노출에서 한 파티가 비교적 약한 비대칭 설정에서 수직 연합학습이 샘플 ID 프라이버시를 어떻게 보호할 수 있는가?
• RQ2 APSI obfuscation이 필요한 공동 데이터를 보존하면서 약한 파티의 ID 누출을 제한할 수 있는가?
• RQ3 GWD 학습 접근법이 표준 대칭 수직 FL과 비슷한 성능을 보이는가?
• RQ4 안전한 계산 제약 하에서 AVFL이 실제 모델(예: 로지스틱 회귀)에서 어떻게 작동하는가?

주요 결과

• APSI는 교차를 난독화하면서 약한 파티가 실제 교차를 학습에 이용하도록 허용하고 강한 파티의 프라이버시는 유지한다.
• Pohlig-Hellman 기반 APSI 프로토콜은 λ라는 조정 가능한 프라이버시 매개변수를 사용해 난독화된 교차 집합을 안전하게 계산한다.
• Genuine with Dummy(GWD) 접근법은 더미 샘플을 수학적 항등으로 마스킹하여 비대칭 학습이 표준 수직 FL과 동일한 결과를 보장한다.
• AVLR에서 MNIST 실험은 다양한 λ 값에서도 훈련 손실과 AUC 궤적이 비슷하여 실현 가능성과 대칭적 설정과의 비교 가능한 성능을 시사한다.