[논문 리뷰] Accelerating Vertical Federated Learning

Dongqi Cai, Tao Fan외 5명|arXiv (Cornell University)|2022. 07. 23.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 4

한 줄 요약

이 논문은 동형 암호화(HE) 하에서 수직联邦학습(VFL)을 가속화하기 위해 스트래글러에 강건하고 계산 효율적인 시스템을 제안한다. 이중 비균형 환경에서 통신 오버헤드를 줄이기 위해 백업 워커 기반 기법을 도입하고, 입력 행렬 압축을 위해 주성분 분석(PCA)을 활용함으로써, 통신 오버헤드를 최대 65.26% 감소시키고 계산 오버헤드를 최대 40.66% 감소시켜 VFL의 효율성을 크게 향상시키며, 보안성을 훼손하지 않는다.

ABSTRACT

Privacy, security and data governance constraints rule out a brute force process in the integration of cross-silo data, which inherits the development of the Internet of Things. Federated learning is proposed to ensure that all parties can collaboratively complete the training task while the data is not out of the local. Vertical federated learning is a specialization of federated learning for distributed features. To preserve privacy, homomorphic encryption is applied to enable encrypted operations without decryption. Nevertheless, together with a robust security guarantee, homomorphic encryption brings extra communication and computation overhead. In this paper, we analyze the current bottlenecks of vertical federated learning under homomorphic encryption comprehensively and numerically. We propose a straggler-resilient and computation-efficient accelerating system that reduces the communication overhead in heterogeneous scenarios by 65.26% at most and reduces the computation overhead caused by homomorphic encryption by 40.66% at most. Our system can improve the robustness and efficiency of the current vertical federated learning framework without loss of security.

연구 동기 및 목표

• 동형 암호화(HE) 하에서 수직 연합학습(VFL)의 높은 통신 및 계산 오버헤드 문제를 해결하여 실용적 구현을 가능하게 하기 위해.
• 워커의 속도와 데이터 특성이 크게 다름에 따라 발생하는 비균형 환경에서의 복원성과 효율성을 향상시키기 위해.
• HE로 인해 데이터 크기가 증가하고 학습 속도가 수십만 배 이상 감소하는 문제를 해결하기 위해 계산 부담을 줄이기 위해.
• 학습을 가속화하면서도 강력한 암호 보안을 유지하여 기관 간 개인정보 보호를 보장하는 협업을 가능하게 하기 위해.
• 데이터가 고립되어 있고 개인정보가 중요한 분야인 금융 및 헬스케어 분야에서의 실질적인 산업 간 협업을 가능하게 하기 위해.

제안 방법

• 비균형 VFL 환경에서 느린 또는 응답이 없는 워커로 인한 통신 지연을 완화하기 위해 스트래글러에 강건한 백업 워커 기반 기법을 도입한다.
• 입력 특징 행렬을 동형 암호화하기 전에 주성분 분석(PCA)을 사용해 압축함으로써 처리 및 암호화 대상 데이터 크기를 줄인다.
• 서버가 n + b명의 워커 중 첫 n개의 기울기만 수신하고 나머지 b개는 백업으로 기각함으로써 모든 워커의 응답을 기다리지 않아도 되도록 통신 오버헤드를 최소화한다.
• 모든 중간 결과가 학습 전 과정 동안 암호화된 상태를 유지하도록 보장함으로써 보안을 유지하며, 기밀성을 확보하기 위해 동형 암호화를 활용한다.
• 실제 적용 가능성을 확보하기 위해 FATE(Federated AI Technology Enabler) 오픈소스 플랫폼 내부에 프레임워크를 구현한다.
• 다양한 데이터 분포와 계산 비균형성을 반영한 현실적인 VFL 시나리오에서 평가한다.

Figure 1 : Vertical federated learning. A specialization of federated learning for secure cross-silo cooperation learning.

실험 결과

연구 질문

• RQ1 비균형 VFL 환경에서 보안을 훼손하지 않고 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ2 PCA를 통한 입력 행렬 압축이 HE 기반 VFL에서 계산 비용을 얼마나 줄일 수 있는가?
• RQ3 백업 워커 전략이 중간 결과(단지 기울기 외에도)가 교환되는 VFL 환경에서 스트래글러 문제를 효과적으로 완화할 수 있는가?
• RQ4 암호화된 VFL에서 PCA 기반 압축을 적용할 경우 계산 효율성과 모델 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ5 어떻게 하면 개인정보가 중요한 산업 분야에서 실질적인 크로스실 협업을 위한 수직 연합학습을 더욱 확장 가능하고 실용적으로 만들 수 있는가?

주요 결과

• 제안된 백업 워커 기반 기법은 비균형 VFL 환경에서 통신 오버헤드를 최대 65.26% 감소시킨다.
• PCA 기반 입력 압축은 동형 암호화로 인한 계산 오버헤드를 최대 40.66% 감소시킨다.
• 학습 전 과정 동안 종단 간 암호화를 유지함으로써 강력한 암호 보안을 확보한다.
• 모델 정확도에 영향을 주지 않으며, 로컬 학습 수준에 근접한 학습 성능을 유지한다.
• 복원성과 효율성을 동시에 향상시켜 금융, 헬스케어 및 IoT 응용 분야에서의 실질적 도입 가능성을 높인다.
• FATE 플랫폼과의 호환성이 확보되어 기존 산업 연합학습 파이프라인에 실질적으로 통합할 수 있다.

Figure 2 : The framework of vertical federated learning, where homomorphic encryption is applied to preserve privacy.