[논문 리뷰] Distributed Machine Learning on Mobile Devices: A Survey.

Renjie Gu, Shuo Yang외 1명|arXiv (Cornell University)|2019. 09. 18.

Privacy-Preserving Technologies in Data참고 문헌 87인용 수 16

한 줄 요약

이 종합 검토는 이동 기기에서 분산 기계 학습에 대해 포괄적인 개요를 제시한다. 로컬 계산 및 데이터를 사용하여 하위 모델을 훈련하고, 개인정보 보호 및 대역폭 절감을 위해 오직 모델 업데이트만 공유한다. 주요 기여는 이동형 피어드 학습 및 엣지 AI 분야에서의 방법, 과제 및 향후 방향에 대한 체계적인 분석이다.

ABSTRACT

In recent years, mobile devices have gained increasingly development with stronger computation capability and larger storage. Some of the computation-intensive machine learning and deep learning tasks can now be run on mobile devices. To take advantage of the resources available on mobile devices and preserve users' privacy, the idea of mobile distributed machine learning is proposed. It uses local hardware resources and local data to solve machine learning sub-problems on mobile devices, and only uploads computation results instead of original data to contribute to the optimization of the global model. This architecture can not only relieve computation and storage burden on servers, but also protect the users' sensitive information. Another benefit is the bandwidth reduction, as various kinds of local data can now participate in the training process without being uploaded to the server. In this paper, we provide a comprehensive survey on recent studies of mobile distributed machine learning. We survey a number of widely-used mobile distributed machine learning methods. We also present an in-depth discussion on the challenges and future directions in this area. We believe that this survey can demonstrate a clear overview of mobile distributed machine learning and provide guidelines on applying mobile distributed machine learning to real applications.

연구 동기 및 목표

• 최근 이동 기기에서의 분산 기계 학습 분야의 발전에 대한 포괄적인 종합 검토를 제공하는 것.
• 광범위하게 사용되는 이동 기기 기반 분산 기계 학습 방법과 그 시스템 수준 설계를 분석하는 것.
• 이동형 엣지 학습에서 확장성, 통신 효율성 및 개인정보 보호 문제에 대응하는 주요 과제를 규명하는 것.
• 실용적이고 안정적인 이동 기기 기반 분산 학습 시스템의 대규모 구현을 가능하게 하는 향후 연구 방향을 제시하는 것.

제안 방법

• 이 논문은 중앙집중식 데이터 수집에 의존하지 않고 로컬 기기 자원을 활용해 훈련을 수행하는 기존의 이동 기기 기반 분산 기계 학습 프레임워크를 종합적으로 검토한다.
• 피어드 학습을 核심 패러다임으로 강조하며, 로컬 모델을 기기 내에서 훈련하고 오직 모델 업데이트(원시 데이터가 아님)만 중앙 서버로 전송한다.
• 훈련 작업을 이동 기기들에 분산시킴으로써 서버 측 계산 및 저장 부담을 줄인다.
• 통신 효율성을 높이기 위해 데이터 전송을 최소화하고, 기기에서 서버로 오직 기울기 또는 모델 파라미터만 전송한다.
• 훈련 효율성을 향상시키기 위해 모델 압축, 양자화, 적응형 집계와 같은 다양한 최적화 기법을 평가한다.
• 기기 이질성, 비독립 동일 분포(Non-IID) 데이터 분포, 훈련에 참여하는 클라이언트의 동적 변화와 같은 시스템 수준의 고려 사항을 논의한다.

실험 결과

연구 질문

• RQ1 사용자 데이터 개인정보 보호를 유지하면서 이동 기기에서 기계 학습 모델을 어떻게 효율적으로 훈련할 수 있는가?
• RQ2 다양한 이동 기기에서 분산 학습을 확장하는 데 있어 주요 시스템 및 알고리즘 과제는 무엇인가?
• RQ3 모델 정확도를 훼손하지 않으면서 이동 기기 기반 분산 학습에서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ4 이동형 엣지 학습 환경에서 모델 수렴, 훈련 속도 및 자원 사용 간의 상충 관계는 무엇인가?
• RQ5 실용적이고 대규모로 구현 가능한 이동 기기 기반 분산 기계 학습의 구현을 위해 어떤 향후 연구 방향이 필요한가?

주요 결과

• 이동 기기 기반 분산 기계 학습은 원시 데이터 대신 오직 모델 업데이트만 전송함으로써 대역폭 사용을 크게 줄인다.
• 민감한 데이터가 기기 외부로 이동하지 않기 때문에 사용자 개인정보 보호를 향상시킨다.
• 피어드 학습 프레임워크는 이질적인 이동 기기에서 비독립 동일 분포(Non-IID) 데이터를 효과적으로 처리할 수 있도록 모델 훈련을 가능하게 한다.
• 양자화 및 압축 기법은 통신 비용을 줄이고 자원 제약이 있는 기기에서의 훈련 효율을 향상시킨다.
• 진전이 있었음에도 불구하고, 기기 이질성 처리, 부분적 클라이언트 참여 하에서의 수렴 보장, 모델 정확도 유지 문제는 여전히 과제로 남아 있다.
• 이 종합 검토는 실생활에서의 이동 기기 기반 분산 학습 구현을 지원하기 위해 더 견고한 시스템 수준의 솔루션이 필요하다고 지적한다.