[논문 리뷰] Towards Geo-Distributed Machine Learning

Ignacio Cano, Markus Weimer외 3명|arXiv (Cornell University)|2016. 03. 30.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 27

한 줄 요약

이 논문은 원시 데이터를 지역에 유지하여 데이터 센터 간 대역폭을 줄이고 데이터 주권 규정 준수를 향상시키는 통신 효율적인 다중 데이터 센터 학습 시스템인 지오분산 머신러닝(Geo-Distributed Machine Learning, GDML)을 소개한다. CoCoA와 같은 희소 통신 알고리즘을 활용함으로써, 중심화된 방법에 비해 대역폭 사용을 수 개의 주기 차수만큼 낮추면서도 경쟁 가능한 학습 성능을 유지를 한다.

ABSTRACT

Latency to end-users and regulatory requirements push large companies to build data centers all around the world. The resulting data is "born" geographically distributed. On the other hand, many machine learning applications require a global view of such data in order to achieve the best results. These types of applications form a new class of learning problems, which we call Geo-Distributed Machine Learning (GDML). Such applications need to cope with: 1) scarce and expensive cross-data center bandwidth, and 2) growing privacy concerns that are pushing for stricter data sovereignty regulations. Current solutions to learning from geo-distributed data sources revolve around the idea of first centralizing the data in one data center, and then training locally. As machine learning algorithms are communication-intensive, the cost of centralizing the data is thought to be offset by the lower cost of intra-data center communication during training. In this work, we show that the current centralized practice can be far from optimal, and propose a system for doing geo-distributed training. Furthermore, we argue that the geo-distributed approach is structurally more amenable to dealing with regulatory constraints, as raw data never leaves the source data center. Our empirical evaluation on three real datasets confirms the general validity of our approach, and shows that GDML is not only possible but also advisable in many scenarios.

연구 동기 및 목표

• 글로벌로 분산된 데이터를 활용한 머신러닝 모델 학습에 있어 데이터 센터 간 대역폭을 최소화하고 데이터 주권 규정을 준수하는 데 도전하는 것.
• 학습을 위해 지오분산된 데이터를 중심화하는 기존의 관행을 도전하며, 이는 높은 대역폭 비용과 규제 리스크를 수반한다.
• 원시 데이터를 그대로 유지하고 모델 통계만 이동시키는 지오분산 학습 시스템을 설계하고 평가하여 인프라 비용을 감소시키는 것.
• 통신 효율적인 알고리즘이 대규모 머신러닝 워크로드에 대해 분산 학습을 실현 가능하고 비용 효율적으로 만들 수 있음을 입증하는 것.
• 행성 규모의 프라이버시 인식 기반 머신러닝을 위해 특화된 새로운 시스템 및 알고리즘의 기반을 마련하는 것.

제안 방법

• 다중 데이터 센터 머신러닝 워크로드를 지원하기 위해 Apache Hadoop YARN과 Apache REEF를 확장하여 데이터 센터 간 조율 기능을 구현한다.
• 데이터 센터 간 통신 라운드 수를 최소화하는 통신 희소 이중 최적화 알고리즘(CoCoA)을 적용한다.
• 로컬 모델을 각 데이터 센터에서 독립적으로 학습시키고, 오직 기울기 또는 이중 변수만 교환하는 원시-이중 분해 접근 방식을 사용한다.
• 성능 및 대역폭 효율성을 평가하기 위해 기본 모델로 $l_2$-정규화 로지스틱 회귀를 적용한다.
• 원시 데이터를 데이터 센터 간 이동시키지 않도록 설계하여 데이터 국지성과 규정 준수를 유지한다.
• 최소한의 데이터 센터 간 통신으로 전역 모델에 수렴하기 위해 반복적 정밀 조정을 적용한다.

실험 결과

연구 질문

• RQ1 통신 효율적인 알고리즘을 활용한 지오분산 학습이 중심화된 데이터 복제에 비해 데이터 센터 간 대역폭 소비를 더 낮출 수 있는가?
• RQ2 데이터 스트리밍이 가능한 조건에서 지오분산 학습의 성능은 중심화된 학습에 비해 학습 런타임과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 지오분산 학습은 중심화된 접근 방식에 비해 규제 및 데이터 주권 문제를 어느 정도 완화할 수 있는가?
• RQ4 특히 데이터 센터 간 대역폭이 극히 제한된 상황에서, 분산 학습의 통신 오버헤드는 스케일링에 대해 관리 가능하고 비용 효율적인가?
• RQ5 데이터 센터 장애나 접근 불가로 인해 지역 장애가 발생했을 때, 지오분산 환경의 장애 내성은 중심화된 시스템에 비해 어떻게 비교되는가?

주요 결과

• 지오분산 접근 방식은 중심화된 데이터 복제에 비해 데이터 센터 간 대역폭 소비를 수 개의 주기 차수만큼 감소시켜 인프라 비용을 크게 낮춘다.
• 데이터 스트리밍이 가능한 조건에서는 중심화된 학습이 더 빠른 학습 런타임을 달성하지만, 분산 접근 방식은 대역폭 비용을 극적으로 낮춰 대규모 구현에 더 경제적인 선택이 된다.
• 제안된 시스템은 원시 데이터를 각 데이터 센터에 그대로 유지하면서도 중심화된 학습과 비교해 유사한 모델 정확도를 유지한다.
• 통신 효율적인 알고리즘인 CoCoA는 최소한의 데이터 전송으로 효과적인 모델 수렴을 가능하게 하여 실세계 지오분산 워크로드에 실현 가능함을 입증한다.
• 지오분산 접근 방식은 원시 데이터가 본래의 데이터 센터를 이탈하지 않기 때문에 데이터 주권 제약에 대해 구조적으로 더 유연하다.
• 연구는 다중 지역 배포에서의 장애 내성 문제가 특히 지역 장애로 인해 편향된 데이터 손실이 발생할 수 있어 핵심 열린 문제로 규명된다.