[논문 리뷰] Big Data Analytics = Machine Learning + Cloud Computing

Caesar Wu, Rajkumar Buyya외 1명|arXiv (Cornell University)|2016. 01. 13.

Big Data and Business Intelligence인용 수 11

한 줄 요약

이 논문은 빅데이터 분석(Big Data Analytics, BDA)이 기계학습(Machine Learning, ML)과 클라우드 컴퓨팅(Cloud Computing, CC)의 통합을 통해 가장 잘 이룩될 수 있으며, BDA를 ML + CC로 프레임워크화한다. 이는 ML의 예측 능력과 CC의 확장 가능한 인프라를 조합함으로써 기존의 3V를 초월하여 비즈니스 인텔리전스 및 의사결정 지원까지 포함하는 비용 효율적이고 종합적인 분석을 가능하게 한다. 기존의 3V에서 32V로 확장된다.

ABSTRACT

Big Data can mean different things to different people. The scale and challenges of Big Data are often described using three attributes, namely Volume, Velocity and Variety (3Vs), which only reflect some of the aspects of data. In this chapter we review historical aspects of the term "Big Data" and the associated analytics. We augment 3Vs with additional attributes of Big Data to make it more comprehensive and relevant. We show that Big Data is not just 3Vs, but 32 Vs, that is, 9 Vs covering the fundamental motivation behind Big Data, which is to incorporate Business Intelligence (BI) based on different hypothesis or statistical models so that Big Data Analytics (BDA) can enable decision makers to make useful predictions for some crucial decisions or researching results. History of Big Data has demonstrated that the most cost effective way of performing BDA is to employ Machine Learning (ML) on the Cloud Computing (CC) based infrastructure or simply, ML + CC -> BDA. This chapter is devoted to help decision makers by defining BDA as a solution and opportunity to address their business needs.

연구 동기 및 목표

• 기존의 3V(Volume, Velocity, Variety)를 초월하여 비즈니스 인텔리전스 및 의사결정 지원을 포함하는 추가 차원을 통합함으로써 빅데이터 분석(Big Data Analytics, BDA)을 재정의하는 것.
• 기업 환경에서 빅데이터 분석(BDA)에 가장 비용 효율적이고 확장 가능한 아키텍처 기반은 기계학습(Machine Learning, ML)과 클라우드 컴퓨팅(Cloud Computing, CC)의 통합임을 확립하는 것.
• 결정자들이 기계학습을 기반으로 한 클라우드 인프라상에서 예측 분석과 실행 가능한 통찰을 가능하게 하는 통합 프레임워크를 제공하는 것.
• 3V에서 32V로의 개념 모델 확장을 통해 비즈니스 인텔리전스 및 가설 기반 분석에 집중된 9개의 V를 포함하는 것.
• 현대 빅데이터 분석의 기초 아키텍처로서 ML + CC를 위치지음으로써 실시간, 확장 가능하고 지능적인 데이터 처리를 가능하게 하는 것.

제안 방법

• 기존의 빅데이터 3V 모델을 비즈니스 인텔리전스 및 분석 모델링에 집중한 9개의 V를 포함하는 종합적인 32-V 프레임워크로 확장한다.
• 기계학습(Machine Learning, ML)이 빅데이터에서 통찰을 추출하는 핵심 엔진으로서 예측 및 패턴 인식 기능을 제공한다고 제안한다.
• 클라우드 컴퓨팅(Cloud Computing, CC)을 기계학습 워크로드를 위한 탄력성, 확장성, 비용 효율성을 제공하는 필수 인프라 계층으로 위치시킨다.
• 예측 모델링과 확장 가능한 인프라 간의 상호보완성을 수식 BDA = ML + CC로 형식화한다.
• 빅데이터의 역사적 발전 추세를 분석하여 ML + CC 패러다임이 가장 효과적이고 지속 가능한 접근법임을 정당화한다.
• 실제 비즈니스 요구사항을 반영하기 위해 다양한 데이터 유형과 분석 모델(통계적, 가설 기반)을 확장된 32-V 모델에 통합한다.

실험 결과

연구 질문

• RQ1 빅데이터 분석은 기존의 3V를 초월하여 비즈니스 인텔리전스 및 의사결정 지원에 더 잘 기여하기 위해 어떻게 재정의될 수 있는가?
• RQ2 기업 환경에서 빅데이터 분석에 가장 비용 효율적이고 확장 가능한 아키텍처 기반은 무엇인가?
• RQ3 기계학습과 클라우드 컴퓨팅의 통합은 빅데이터 워크로드의 예측 능력을 어떻게 향상시키는가?
• RQ4 빅데이터 분석의 범위와 가치를 충분히 반영하기 위해 3V 이외에 추가로 필요한 속성은 무엇인가?
• RQ5 ML + CC 모델은 빅데이터에서 다양한 분석 모델과 가설 기반 연구에 얼마나 잘 대응하는가?

주요 결과

• 논문은 빅데이터 분석(Big Data Analytics, BDA)이 기계학습(Machine Learning, ML)과 클라우드 컴퓨팅(Cloud Computing, CC)의 조합으로 가장 잘 실현되며, 이를 BDA = ML + CC로 수식화함으로써 공식화한다.
• 기존의 3V 모델은 빅데이터의 전체 범위를 포괄하기에 부족하며, 저자들은 이를 비즈니스 인텔리전스 및 분석 모델링에 할애된 9개의 V를 포함하는 32V로 확장한다.
• 빅데이터의 역사적 추세는 클라우드 인프라상에서 기계학습을 활용한 것이 BDA에 있어 가장 비용 효율적이고 확장 가능한 접근법임을 보여준다.
• 기계학습과 클라우드 컴퓨팅의 통합은 데이터 기반의 통찰을 통해 의사결정자들이 유용한 예측을 도출하고 핵심적인 비즈니스 결정을 지원할 수 있도록 한다.
• 이 프레임워크는 다양한 분석 모델과 가설 검증을 지원하여 과학적 연구와 기업 응용 모두에 적합하다.
• 제안된 모델은 빅데이터 분석을 실제 비즈니스 및 연구 요구사항과 일치시키는 포괄적이고 확장 가능한 아키텍처를 제공한다.