[논문 리뷰] Stochastic Distributed Optimization for Machine Learning from Decentralized Features

Yaochen Hu, Di Niu외 2명|arXiv (Cornell University)|2018. 12. 16.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 4

한 줄 요약

이 논문은 분산 기계 학습을 위한 새로운 이방향 확률적 경사 하강 프레임워크인 FDML을 제안한다. 이 프레임워크는 동일한 샘플의 특징을 원시 데이터나 모델 파라미터를 공유하지 않고도 여러 당사자 간에 유지하면서, 성능을 중심화된 학습에 가깝게 유지한다. 국소 예측을 교환하고 초선형 집계 구조를 활용함으로써, 데이터 국소성과 차별적 프라이버시를 보장한다. 이는 텐센트에서 실전에 구현된 애플리케이션 추천 성능을 크게 향상시켰다.

ABSTRACT

Distributed machine learning has been widely studied in the literature to scale up machine learning model training in the presence of an ever-increasing amount of data. We study distributed machine learning from another perspective, where the information about the training same samples are inherently decentralized and located on different parities. We propose an asynchronous stochastic gradient descent (SGD) algorithm for such a feature distributed machine learning (FDML) problem, to jointly learn from decentralized features, with theoretical convergence guarantees under bounded asynchrony. Our algorithm does not require sharing the original feature data or even local model parameters between parties, thus preserving a high level of data confidentiality. We implement our algorithm for FDML in a parameter server architecture. We compare our system with fully centralized training (which violates data locality requirements) and training only based on local features, through extensive experiments performed on a large amount of data from a real-world application, involving 5 million samples and $8700$ features in total. Experimental results have demonstrated the effectiveness and efficiency of the proposed FDML system.

연구 동기 및 목표

• 동일한 샘플의 특징이 원시 데이터나 모델 파라미터를 공유할 수 없는 여러 당사자 간에 공동 기계 학습 모델을 훈련시키는 데 도전하는 것.
• 원본 특징이나 국소 모델 파라미터 간의 전송을 피하여 데이터 국소성을 유지하고 프라이버시를 향상시키는 것.
• 격리된 국소 특징으로 훈련된 모델보다 우수한 성능을 보이며 중심화된 학습 성능에 가까운 확장성 있고 효율적인 시스템을 개발하는 것.
• 모델 협업 중 민감한 정보를 보호하기 위해 통신 프로토콜에 차별적 프라이버시를 통합하는 것.
• 텐센트 앱의 실제 데이터셋을 대상으로 프레임워크를 평가하여 대규모 추천 시스템에서의 실용적 유용성을 입증하는 것.

제안 방법

• FDML 시스템은 각 당사자가 자신의 특징 세트에서 독립적으로 국소 모델을 훈련하는 것을 조율하기 위해 파라미터 서버 아키텍처를 사용한다.
• 각 당사자는 자신의 미니배치 샘플에 대해 국소 예측을 계산하고, 원시 특징이나 모델 파라미터를 전송하지 않고 오직 이 예측만을 중앙 서버에 전송한다.
• 분류 작업을 위한 최종 공동 예측으로 국소 예측을 집계하기 위해 초선형 구조(소프트맥스와 유사)를 사용한다.
• 계산이 늦어진 비동기 업데이트를 허용하는 제한된 비동기 병렬(Stale Synchronous Parallel, SSP) 환경에서 미니배치 확률적 경사 하강법을 적용하여 이론적 수렴 보장을 한다.
• 국소 예측에 보정된 노이즈를 추가하여 공유된 국소 예측을 보호함으로써 차별적 프라이버시를 적용한다.
• 이 프레임워크는 로지스틱 회귀, 인수분해 기계, 딥 네URAL 네트워크 등 임의의 모델을 지원하며, 공동 모델의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 공유하지 않는 한편, 동일한 샘플의 특징이 여러 당사자에 분산되어 있을 때도 협업 기계 학습 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 FDML을 통해 훈련된 공동 모델은 데이터 국소성을 유지하면서 중심화된 학습 성능과 유사한 성능을 달성할 수 있는가?
• RQ3 제한된 비동기 환경에서 시스템은 어떻게 작동하며, 이론적 수렴 속도는 어떠한가?
• RQ4 모델 성능 저하 없이 통신 프로토콜에 차별적 프라이버시를 얼마나 잘 통합할 수 있는가?
• RQ5 대규모 실세계 데이터셋에서 통신 오버헤드와 훈련 효율성 측면에서 FDML은 어떻게 확장되는가?

주요 결과

• FDML은 국소 특징으로만 훈련된 모델보다 유의미하게 뛰어난 성능을 보이며, a9a 데이터셋과 텐센트의 500만 레코드 데이터셋에서 모두 높은 AUC와 낮은 로그 손실을 달성한다.
• 로지스틱 회귀의 경우, 초선형 구조에서 특징 상호작용이 제한되어 약간의 성능 격차가 존재하지만, 중심화된 학습 성능에 매우 가까운 성능을 보인다.
• 딥 네URAL 네트워크 환경에서는 국소 모델보다 훨씬 뛰어난 성능을 보이며, 중심화된 학습 성능에 접근하지만, 아키텍처에서 직접적인 당사자 간 특징 상호작용이 없어 약간의 격차가 존재한다.
• 신경망 환경에서 FDML은 분산 계산 덕분에 중심화된 학습보다 빠르며, 특히 모델 크기가 크고 통신 오버헤드가 관리 가능한 경우에 두드러진다.
• 노이즈 수준이 3 이하로 설정된 차별적 프라이버시를 적용해도 국소 학습보다 뛰어난 성능을 보이며, 강력한 프라이버시-유용성 트레이드오프를 입증한다.
• a9a와 같은 작은 데이터셋에서는 통신 오버헤드가 지배적이므로 FDML은 중심화된 학습보다 느리지만, 더 큰 실세계 데이터셋에서는 이 영향이 점점 줄어든다.