[논문 리뷰] From Server-Based to Client-Based Machine Learning: A Comprehensive Survey

Renjie Gu, Chaoyue Niu외 5명|arXiv (Cornell University)|2019. 09. 18.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 5

한 줄 요약

이 종합 검토에서는 서버 기반에서 클라이언트 기반 머신 러닝으로의 전환을 체계적으로 분석하며, 개인정보 보호를 유지하면서 디바이스 내에서 학습을 가능하게 하는 핵심 패러다임인 피어드 학습과 스플릿 학습을 강조한다. 클라이언트 기반 학습의 발전 과정, 아키텍처, 도전 과제 및 향후 방향성을 검토하며, 구현을 위한 통합 프레임워크와 실용적 지침을 제공한다.

ABSTRACT

In recent years, mobile devices have gained increasing development with stronger computation capability and larger storage space. Some of the computation-intensive machine learning tasks can now be run on mobile devices. To exploit the resources available on mobile devices and preserve personal privacy, the concept of client-based machine learning has been proposed. It leverages the users' local hardware and local data to solve machine learning sub-problems on mobile devices and only uploads computation results rather than the original data for the optimization of the global model. Such an architecture can not only relieve computation and storage burdens on servers but also protect the users' sensitive information. Another benefit is the bandwidth reduction because various kinds of local data can be involved in the training process without being uploaded. In this article, we provide a literature review on the progressive development of machine learning from server based to client based. We revisit a number of widely used server-based and client-based machine learning methods and applications. We also extensively discuss the challenges and future directions in this area. We believe that this survey will give a clear overview of client-based machine learning and provide guidelines on applying client-based machine learning to practice.

연구 동기 및 목표

• 중앙집중식 서버 기반 머신 러닝에서 분산형 클라이언트 기반 학습 패러다임으로의 전환 과정을 체계적으로 검토하는 것.
• 클라이언트 기반 학습의 핵심 동기요소인 개인정보 보호, 대역폭 절감, 모바일 디바이스 자원의 효율적 활용을 식별하고 분석하는 것.
• 클라이언트 기반 학습에서 발생하는 기술적 과제, 예를 들어 비독립 동일분포(Non-IID) 데이터 분포, 통신 효율성, 모델 수렴 문제 등을 검토하는 것.
• 실제 응용 분야, 특히 모바일 및 엣지 환경에서 클라이언트 기반 머신 러닝을 구현하기 위한 실용적 지침을 제공하는 것.
• 표준화, 벤치마킹, 다양한 응용 분야로의 광범위한 배포를 포함한 개방형 연구 문제와 향후 방향성을 부각하는 것.

제안 방법

• 피어드 학습, 스플릿 학습 및 관련 분산 최적화 기법을 포함한 기존의 서버 기반 및 클라이언트 기반 머신 러닝 방법을 조사하고 분류하는 것.
• 중앙집중적 학습과 클라이언트 기반 학습 간의 아키텍처적 차이를 분석하며, 데이터 국소화, 통신 패턴, 신뢰 모델에 중점을 두는 것.
• 클라이언트 기반 학습을 위한 공식적인 작업 정의를 제시하며, '업로드 금지' 제약 조건과 로컬 데이터를 이용한 모델 최적화를 강조하는 것.
• 기존의 모바일 머신 러닝 도구와 그들의 디바이스 내 학습 지원 능력을 비교 분석함으로써 클라이언트 기반 학습 프레임워크를 평가하는 것.
• TensorFlow Lite, Core ML, PyTorch Mobile, NCNN, Paddle Lite, MNN 등의 주요 프레임워크를 검토하며, 추론 능력과 가능하면 디바이스 내 학습 지원 능력을 중점적으로 다루는 것.
• 비독립 동일분포(Non-IID), 사용자 기반 분할 데이터를 지원하는 표준화된 벤치마크 및 데이터셋(예: LEAF)이 필요하다고 제안하며, 클라이언트 기반 학습 알고리즘의 공정한 평가를 위해 필수적임을 강조하는 것.

실험 결과

연구 질문

• RQ1 서버 기반과 클라이언트 기반 머신 러닝 간의 핵심 기술적·아키텍처적 차이점은 무엇이며, 이는 성능, 개인정보 보호, 확장성에 어떤 영향을 미치는가?
• RQ2 피어드 학습과 스플릿 학습은 원시 데이터를 중앙 서버로 이전하지 않으면서도 어떻게 개인정보 보존 머신 러닝을 가능하게 하는가?
• RQ3 클라이언트 기반 학습에서 주요 과제로 작용하는 요소들, 예를 들어 데이터 이질성(Non-IID), 통신 오버헤드, 모델 수렴 문제 등은 무엇인가?
• RQ4 기존의 모바일 머신 러닝 프레임워크는 디바이스 내 학습을 얼마나 잘 지원하고 있으며, 이러한 한계는 어떻게 보완할 수 있는가?
• RQ5 클라이언트 기반 머신 러닝의 실용적 배포를 발전시키기 위해 필요한 향후 연구 방향성과 표준화 노력은 무엇인가?

주요 결과

• 클라이언트 기반 머신 러닝, 특히 피어드 학습과 스플릿 학습은 모바일 디바이스 내에서 직접 모델을 학습시켜 사용자 원시 데이터를 중앙 서버로 이전할 필요를 크게 감소시킨다.
• 클라이언트 기반 학습의 도입은 서버 측 계산 및 스토리지 부담을 줄이고, 통신 비용을 낮추며, 민감한 데이터를 로컬에 유지함으로써 사용자 개인정보 보호를 향상시킨다.
• 진전이 있었음에도 불구하고, TensorFlow Lite나 PyTorch Mobile와 같은 기존의 모바일 프레임워크는 주로 추론 기능을 지원하며, 디바이스 내 학습에 대한 내장된 지원이 제한되어 있어 종합적인 모바일 머신 러닝 툴체인의 격차를 드러낸다.
• 알리바바의 MNN 프레임워크는 디바이스 내 모델 구축과 학습을 전 과정 지원하는 흔치 않은 사례로 강조되며, 향후 전체적인 모바일 학습 기능으로의 추세를 시사한다.
• LEAF와 같은 벤치마크 데이터셋은 Non-IID, 사용자 기반 분할 데이터를 지원하지만, 아직 일부 작업에 국한되어 있어 클라이언트 기반 알고리즘 평가를 위한 보다 넓고 표준화된 데이터셋이 필요하다는 점을 시사한다.
• 표준화된 평가 지표와 배포 가이드라인의 부재는 다양한 응용 분야 및 도메인 간 클라이언트 기반 학습 솔루션 간 비교 및 배포를 방해하는 주요 장벽으로 남아 있다.