[논문 리뷰] Cloud based Big Data Analytics: A Survey of Current Research and Future Directions

Samiya Khan, Kashish Ara Shakil외 1명|arXiv (Cornell University)|2015. 08. 18.

Cloud Computing and Resource Management인용 수 7

한 줄 요약

이 종합 검토는 클라우드 기반 빅데이터 분석을 분석하여 현재의 연구, 과제 및 향후 방향성을 다룹니다. 데이터 보안, 확장성, 성능 등의 핵심 과제를 식별하고, 클라우드 인프라와 빅데이터 워크로드를 통합하기 위한 프레임워크를 제안하여 대규모 환경에서 효율적이고 안전하며 확장 가능한 분석을 가능하게 합니다.

ABSTRACT

The advent of the digital age has led to a rise in different types of data with every passing day. In fact, it is expected that half of the total data will be on the cloud by 2016. This data is complex and needs to be stored, processed and analyzed for information that can be used by organizations. Cloud computing provides an apt platform for big data analytics in view of the storage and computing requirements of the latter. This makes cloud-based analytics a viable research field. However, several issues need to be addressed and risks need to be mitigated before practical applications of this synergistic model can be popularly used. This paper explores the existing research, challenges, open issues and future research direction for this field of study.

연구 동기 및 목표

• 클라우드 기반 빅데이터 분석 분야의 현재 연구 상태를 분석하기 위해.
• 클라우드 환경에서 데이터 보안, 프라이버시, 성능 저하 등의 핵심 과제를 식별하기 위해.
• 확장 가능한 데이터 처리를 위한 클라우드 컴퓨팅과 빅데이터 분석 간의 상호보완적 관계를 탐색하기 위해.
• 열려 있는 과제를 요약하고 분야 내 향후 연구 방향을 제안하기 위해.
• 이 분야 내 기존 아키텍처, 도구 및 플랫폼에 대한 종합적인 개요를 제공하기 위해.

제안 방법

• 2010년에서 2015년 사이의 클라우드 기반 빅데이터 분석에 관한 기존 문헌에 대한 체계적 검토.
• 데이터 양, 속도, 다양성 기반의 빅데이터 분석 워크로드 분류.
• 클라우드 플랫폼(예: AWS, 클라우드 상의 Hadoop) 및 빅데이터 프레임워크와의 통합 분석.
• 클라우드 기반 데이터 처리 파이프라인 내 보안 및 프라이버시 메커니즘 평가.
• 확장성 있고 장애 내성 있는 시스템을 위한 아키텍처 패턴 및 설계 원칙 식별.
• 출판된 연구 논문의 주제 분석을 통한 트렌드 및 연구 격차 통합.

실험 결과

연구 질문

• RQ1 빅데이터 분석을 클라우드 플랫폼에 구현할 때 주요 과제는 무엇인가요?
• RQ2 현재의 클라우드 기반 아키텍처는 빅데이터 워크로드의 확장성과 성능 요구사항을 어떻게 지원합니까?
• RQ3 클라우드 환경에서 빅데이터를 저장하고 처리함에 있어 관련된 보안 및 프라이버시 위험은 무엇인가요?
• RQ4 효율적인 클라우드 기반 빅데이터 분석을 위한 핵심 아키텍처 패턴과 설계 원칙은 무엇인가요?
• RQ5 클라우드 컴퓨팅과 빅데이터 분석의 통합 분야에서 새로운 향후 연구 방향은 무엇인가요?

주요 결과

• 2016년 기준으로 전체 데이터의 절반 이상이 클라우드에 저장될 것으로 예측되어, 데이터 관리에 있어 클라우드 인프라 의존도가 증가하고 있음을 시사합니다.
• 탄력적 자원 할당과 온디맨드 컴퓨팅 덕분에 클라우드 컴퓨팅은 빅데이터 분석을 위한 확장성 있고 비용 효율적인 플랫폼을 제공합니다.
• 장점이 있음에도 불구하고, 클라우드 기반 빅데이터 분석은 데이터 보안, 프라이버시 泄露, 벤더 종속성 등의 심각한 과제를 안고 있습니다.
• 기존 연구에 따르면 하이브리드 클라우드 모델이 성능, 비용, 데이터 제어 간의 더 나은 트레이드오프를 제공합니다.
• 멀티테넌트 클라우드 환경에서 데이터 분석 파이프라인을 보호하기 위한 표준화된 프레임워크가 부족합니다.
• 향후 연구는 실시간 처리 향상, 데이터 라인재이징 추적 강화, 클라우드 기반 분석을 위한 자동 최적화 기법 개발에 초점을 맞춰야 합니다.