[논문 리뷰] Machine Learning and Cloud Computing: Survey of Distributed and SaaS Solutions

Daniel Pop|arXiv (Cornell University)|2016. 03. 29.

Graph Theory and Algorithms참고 문헌 9인용 수 53

한 줄 요약

이 2012년 조사에서는 기계학습(ML)과 클라우드 컴퓨팅의 통합을 검토하며, 솔루션을 다섯 가지 유형으로 분류한다: 클라우드 호스팅 ML 환경, 플러그인 증강 도구(예: R, Python), 분산 ML 라이브러리(예: Apache Mahout, GraphLab), 현장에 구축된 복잡한 시스템, 그리고 ML을 SaaS로 제공하는 솔루션. 클라우드 기반 ML의 보급이 증가하고 있음에도 불구하고 비전문가 사용자 대상의 사용성에 심각한 격차가 존재하는 것으로 밝혀졌으며, 이는 의료 및 금융 분야의 연구자와 실무자들을 대상으로 더 사용자 友好的이고 확장 가능한 시스템 개발이 필요하다는 것을 시사한다.

ABSTRACT

Applying popular machine learning algorithms to large amounts of data raised new challenges for the ML practitioners. Traditional ML libraries does not support well processing of huge datasets, so that new approaches were needed. Parallelization using modern parallel computing frameworks, such as MapReduce, CUDA, or Dryad gained in popularity and acceptance, resulting in new ML libraries developed on top of these frameworks. We will briefly introduce the most prominent industrial and academic outcomes, such as Apache Mahout, GraphLab or Jubatus. We will investigate how cloud computing paradigm impacted the field of ML. First direction is of popular statistics tools and libraries (R system, Python) deployed in the cloud. A second line of products is augmenting existing tools with plugins that allow users to create a Hadoop cluster in the cloud and run jobs on it. Next on the list are libraries of distributed implementations for ML algorithms, and on-premise deployments of complex systems for data analytics and data mining. Last approach on the radar of this survey is ML as Software-as-a-Service, several BigData start-ups (and large companies as well) already opening their solutions to the market.

연구 동기 및 목표

• 기존 라이브러리가 성능 및 확장성 한계로 인해 실패하는 대규모 데이터에 대한 기계학습 확장 문제를 해결하기 위한 도전에 대응한다.
• 클라우드 컴퓨팅과 분산 프레임워크(예: MapReduce, Hadoop, CUDA)가 어떻게 확장 가능한 기계학습 처리를 가능하게 하는지 분석한다.
• SaaS, PaaS 및 현장에 구축된 시스템을 포함한 클라우드 기반 신규 ML 솔루션을 분류하고 분석하여 사용성 및 사용자 지원 측면의 격차를 규명한다.
• 기존 도구에서 비전문가 사용자(특히 과학 및 산업 분야)를 위한 안내 및 설정 가능성 부족을 부각시킨다.
• 심층적인 프로그래밍이나 통계 전문 지식이 필요 없이 고급 과학적 작업을 지원하는 새로운 확장 가능하고 사용자 친화적인 분산 ML 시스템의 필요성을 제안한다.

제안 방법

• 배포 방식과 추상화 수준에 기반해 기존 ML 솔루션을 다섯 가지 유형으로 분류한다: 클라우드 호스팅 환경, 플러그인 증강 도구, 분산 라이브러리, 복잡한 현장에 구축된 시스템, SaaS 플랫폼.
• 각 유형에 속하는 대표적인 도구와 플랫폼을 분석한다. 예: Apache Mahout, GraphLab, Jubatus, 클라우드 내 R 및 Python, AlchemyAPI 및 Yahoo! Content Analysis와 같은 SaaS 제공업체.
• 각 솔루션의 기술 스택을 평가하며, 기반 인프라(Hadoop, Dryad, 클라우드 클러스터), 프로그래밍 모델(MapReduce, MPI), 통계 환경과의 통합을 중심으로 분석한다.
• 기능성, 설정 가능성, 사용성 간의 상호 교환 관계를 평가하며, 특히 고급 프로그래밍이나 통계 교육을 받지 않은 최종 사용자에게 초점을 맞춘다.
• 시장 조사와 문헌 리뷰를 통해 솔루션을 비교하며, 사용자 안내 부족과 저수준 시스템 제어 또는 고정된 블랙박스 SaaS 모델의 우세함을 강조한다.
• 기존 분산 ML 프레임워크에 과학적 및 도메인 특화 응용을 위한 사용자 친화성과 사용자 지원 기능을 향상시킨 새로운 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 클라우드 컴퓨팅과 분산 컴퓨팅 프레임워크는 대규모 데이터에 대한 기계학습 처리를 어떻게 가능하게 하는가?
• RQ2 기존 분산 및 SaaS 기반 ML 솔루션 간의 주요 아키텍처적 및 구현 방식의 차이는 무엇인가?
• RQ3 기존 ML 플랫폼은 왜 프로그래밍이나 통계 전문 지식이 제한된 최종 사용자를 지원하지 못하는가?
• RQ4 기존 SaaS 및 PaaS ML 플랫폼의 알고리즘 설정 가능성과 확장성 측면에서의 한계는 무엇인가?
• RQ5 과학 및 산업 분야의 비전문가 실무자들을 대상으로 하여 확장 가능하고 사용자 친화적이며 확장 가능한 분산 ML 시스템을 구축하기 위해 필요한 설계 원칙은 무엇인가?

주요 결과

• MapReduce와 MPI는 ML-DM 알고리즘에서 대규모 병렬 처리를 표현하는 데 지배적인 패러다임이며, 장애 내성과 사용 용이성 덕분에 MapReduce가 점점 더 인기를 끌고 있다.
• 클러스터나 플러그인을 통해 R 및 Python과 같은 통계 도구를 클라우드 기반으로 배포하면 대규모 데이터 분석이 가능하지만, 네이티브 통합과 사용자 안내 기능이 부족하다.
• Apache Mahout, GraphLab, Jubatus와 같은 분산 ML 라이브러리는 핵심 알고리즘의 병렬 구현을 제공하지만, 배포 및 튜닝에 상당한 전문 지식이 필요하다.
• 복잡한 현장에 구축된 시스템은 높은 성능을 제공하지만 비용이 많이 들고 유지보수가 어렵기 때문에 대규모 기업 외에는 보급이 제한된다.
• AlchemyAPI, TextProcessing, Yahoo! Content Analysis와 같은 SaaS 및 PaaS 제공업체는 텍스트 마이닝 및 NLP를 위한 쉬운 API를 제공하지만, 설정 가능성 부족으로 고급 기계학습 작업에는 부적합하다.
• 기계학습 솔루션의 증가에도 불구하고 여전히 사용성과 사용자 지원 측면에서 심각한 격차가 존재하며, 이는 특히 비전문가 사용자에게서 두드러지다. 이는 연구자와 데이터 집약적 분야의 실무자들을 대상으로 하여 새로운 확장 가능하고 사용자 친화적인 분산 ML 플랫폼 개발의 필요성을 강력히 시사한다.