[논문 리뷰] Quantifying the Performance of Federated Transfer Learning

Qinghe Jing, Weiyan Wang외 3명|arXiv (Cornell University)|2019. 12. 30.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 23

한 줄 요약

이 논문은 Google 클라우드에서 FATE를 사용하여 연합 전이 학습(FTL)의 성능을 정량적으로 평가하며, 프로세스 간 통신, 데이터 암호화 오버헤드, 네트워크 조건을 핵심 병목 요소로 규명한다. 최적화를 통해 기밀성과 정확성에 손상을 주지 않으면서도 FTL의 효율성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

The scarcity of data and isolated data islands encourage different organizations to share data with each other to train machine learning models. However, there are increasing concerns on the problems of data privacy and security, which urges people to seek a solution like Federated Transfer Learning (FTL) to share training data without violating data privacy. FTL leverages transfer learning techniques to utilize data from different sources for training, while achieving data privacy protection without significant accuracy loss. However, the benefits come with a cost of extra computation and communication consumption, resulting in efficiency problems. In order to efficiently deploy and scale up FTL solutions in practice, we need a deep understanding on how the infrastructure affects the efficiency of FTL. Our paper tries to answer this question by quantitatively measuring a real-world FTL implementation FATE on Google Cloud. According to the results of carefully designed experiments, we verified that the following bottlenecks can be further optimized: 1) Inter-process communication is the major bottleneck; 2) Data encryption adds considerable computation overhead; 3) The Internet networking condition affects the performance a lot when the model is large.

연구 동기 및 목표

• 실제 구현 환경에서 연합 전이 학습(FTL) 배포 시 성능 병목 요소를 이해하기 위해.
• 통신, 암호화, 네트워크 조건과 같은 인프라 요소가 FTL 효율성에 미치는 영향을 평가하기 위해.
• 실제 FTL 시스템 최적화를 위한 정량적 통찰을 제공하기 위해.
• FTL에서 기밀성, 정확성, 시스템 성능 간의 상호 트레이드오프를 평가하기 위해.

제안 방법

• 저자는 Google 클라우드 인프라에서 실제 FTL 프레임워크인 FATE를 구현하고 평가한다.
• 모델 크기와 데이터 분포의 변화에 따라 훈련 시간, 통신량, 계산 오버헤드를 측정하는 제어 실험을 수행한다.
• 프로세스 간 통신(IPC) 오버헤드는 클라이언트와 서버 간 메시지 전달을 분리하고 분석하여 측정한다.
• 데이터 암호화 비용은 FTL 파이프라인에서 암호화 유무에 따라 훈련 시간을 비교하여 정량화한다.
• 네트워크 조건은 대역폭과 지연 시간을 변화시켜 큰 모델 훈련에 미치는 영향을 평가한다.
• 성능 메트릭을 수집하고 분석하여 FTL 파이프라인 내 주요 병목 요소를 규명한다.

실험 결과

연구 질문

• RQ1 실제 FTL 시스템에서 주요 성능 병목 요소는 무엇인가?
• RQ2 프로세스 간 통신(IPC)은 FTL의 전체 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 데이터 암호화는 FTL에서 계산 오버헤드에 얼마나 기여하는가?
• RQ4 대역폭과 지연 시간과 같은 네트워크 조건은 큰 모델을 사용할 경우 FTL 성능에 어떻게 영향을 미치는가?
• RQ5 식별된 병목 요소는 FTL 확장성과 효율성 향상에 효과적으로 최적화될 수 있는가?

주요 결과

• 프로세스 간 통신(IPC)이 FTL 시스템에서 주요 성능 병목 요소로 작용하며, 대부분의 훈련 시간을 차지한다.
• 데이터 암호화는 빈번한 암호화 연산으로 인해 모델 집계 단계에서 특히 높은 계산 오버헤드를 유발한다.
• 대규모 모델을 사용할 경우 대역폭과 지연 시간과 같은 네트워크 조건이 훈련 성능에 상당한 영향을 미친다.
• 모델 크기가 커질수록 네트워크 조건으로 인한 성능 저하가 더욱 두드러진다.
• IPC 최적화와 암호화 오버헤드 감소가 FTL 효율성 향상에 가장 큰 기여를 할 수 있다.
• 본 연구는 현재 FTL 시스템이 제약된 네트워크 및 계산 자원 조건에서 실질적인 구현에 최적화되어 있지 않음을 드러낸다.