[논문 리뷰] HAFLO: GPU-Based Acceleration for Federated Logistic Regression

Xiaodian Cheng, Wanhang Lu외 3명|arXiv (Cornell University)|2021. 07. 29.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 10

한 줄 요약

HAFLO는 동종 FLR에서 히든 연산자 최적화를 위해 공동 저장, I/O 및 계산 튜닝을 수행하는 GPU 가속 프레임워크이다. NVIDIA V100 GPU에서 성능 핵심 히든 연산을 가속화함으로써, HAFLO는 CPU 기반 FATE 대비 최대 88.4배의 성능 향상을 달성하여 개인정보 보호 기반 머신러닝의 학습 지연을 크게 감소시킨다.

ABSTRACT

In recent years, federated learning (FL) has been widely applied for supporting decentralized collaborative learning scenarios. Among existing FL models, federated logistic regression (FLR) is a widely used statistic model and has been used in various industries. To ensure data security and user privacy, FLR leverages homomorphic encryption (HE) to protect the exchanged data among different collaborative parties. However, HE introduces significant computational overhead (i.e., the cost of data encryption/decryption and calculation over encrypted data), which eventually becomes the performance bottleneck of the whole system. In this paper, we propose HAFLO, a GPU-based solution to improve the performance of FLR. The core idea of HAFLO is to summarize a set of performance-critical homomorphic operators (HO) used by FLR and accelerate the execution of these operators through a joint optimization of storage, IO, and computation. The preliminary results show that our acceleration on FATE, a popular FL framework, achieves a 49.9$ imes$ speedup for heterogeneous LR and 88.4$ imes$ for homogeneous LR.

연구 동기 및 목표

• 히든 암호화(HE) 오버헤드로 인한 연합 로지스틱 회귀(FLR)의 성능 저하 문제를 해결하기 위해.
• GPU 가속을 활용하여 FLR 내 HE 연산의 계산 지연을 최소화하기 위해.
• 데이터 전송을 최소화하고 FLR 학습에서 최대의 병렬성을 달성하기 위해 GPU-CPU 이종 아키텍처를 설계하기 위해.
• 기존 FL 프레임워크인 FATE와의 호환성을 유지하면서도 고처리량 실행을 가능하게 하기 위해.
• GPU 가속 히든 연산자에 대한 저장 레이아웃, I/O 패턴 및 커널 실행을 최적화하기 위해.

제안 방법

• 목표적 GPU 가속을 위해 FLR 내 성능 핵심 히든 연산자(HOs)를 요약하기 위해.
• CUDA 툴킷을 사용하여 기본 HE 연산(예: 히든 곱셈 및 덧셈)에 대한 GPU 최적화 커널을 구현하기 위해.
• 메모리 액세스 패턴을 향상시키고 CPU-GPU 데이터 전송을 줄이기 위해 통합된 데이터 저장 시스템을 설계하기 위해.
• 중간 결과를 GPU 메모리에 캐시하여 장치 간 데이터 이동을 최소화하는 I/O 최적화 워크플로우를 도입하기 위해.
• 기본 개방 소스 FATE 프레임워크에 GPU 가속 레이어를 통합하여 기존 FL 파이프라인과의 호환성을 유지하기 위해.
• CPU 기반 베이스라인 비교를 위해 gmpy2를 사용하고, 실제 데이터셋에서 처리량과 학습 에포크 성능을 벤치마킹하기 위해.

실험 결과

연구 질문

• RQ1 GPU 가속이 연합 로지스틱 회귀의 히든 암호화 계산 오버헤드를 상당히 감소시킬 수 있는가?
• RQ2 GPU 가속 FLR에서 지연을 최소화하기 위해 저장 레이아웃과 I/O 관리가 어떻게 최적화될 수 있는가?
• RQ3 이종 FL 시스템에서 CPU에서 GPU로 히든 연산을 오프로드함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 제안된 솔루션은 동종 및 이종 학습과 같은 다양한 FLR 유형에 대해 어떻게 스케일링되는가?
• RQ5 GPU 가속 프레임워크는 기존의 FATE와 같은 FL 프레임워크와의 호환성을 어느 정도 유지할 수 있는가?

주요 결과

• HAFLO는 이종 연합 로지스틱 회귀 학습에서 원본 FATE 대비 49.9배의 성능 향상을 달성한다.
• 더 높은 계산 강도를 가지는 동종 FLR의 경우, HAFLO는 학습 에포크 완료 시점에서 최대 88.4배의 성능 향상을 기록한다.
• GPU 기반 히든 곱셈 연산자는 특히 효율적인 모듈로 지수 계산 처리 덕분에 CPU 대비 100배 이상의 처리량 향상을 기록한다.
• 통합된 데이터 저장 및 GPU 내부 중간 결과 캐싱은 I/O 오버헤드를 감소시키고 메모리 대역폭 활용도를 향상시킨다.
• 시스템은 FATE 프레임워크와 완전한 호환성을 유지하여 아키텍처 변경 없이도 플러그인 방식의 가속을 가능하게 한다.
• 저장, I/O 및 계산의 통합 최적화를 통해 개인정보 보호 기반 머신러닝 워크로드에서 GPU 자원을 효과적으로 활용할 수 있다.