[논문 리뷰] Big Data Computing Using Cloud-Based Technologies, Challenges and Future Perspectives

Samiya Khan, Kashish Ara Shakil외 1명|arXiv (Cornell University)|2017. 11. 24.

Big Data and Business Intelligence참고 문헌 16인용 수 18

한 줄 요약

이 논문은 클라우드 기반 대용량 데이터 처리를 위한 종합적인 설문 조사 및 분석을 제안하며, 기존의 도구, 프레임워크, 수학적 기법들을 평가하고 대규모 데이터를 처리하기 위한 기술들을 분석한다. 클라우드 도입의 타당성을 평가하고 확장성 및 보안과 같은 주요 과제를 규명하며, 분산 데이터 분석 및 인프라 최적화 분야의 향후 연구 방향을 제시한다.

ABSTRACT

The excessive amounts of data generated by devices and Internet-based sources at a regular basis constitute, big data. This data can be processed and analyzed to develop useful applications for specific domains. Several mathematical and data analytics techniques have found use in this sphere. This has given rise to the development of computing models and tools for big data computing. However, the storage and processing requirements are overwhelming for traditional systems and technologies. Therefore, there is a need for infrastructures that can adjust the storage and processing capability in accordance with the changing data dimensions. Cloud Computing serves as a potential solution to this problem. However, big data computing in the cloud has its own set of challenges and research issues. This chapter surveys the big data concept, discusses the mathematical and data analytics techniques that can be used for big data and gives taxonomy of the existing tools, frameworks and platforms available for different big data computing models. Besides this, it also evaluates the viability of cloud-based big data computing, examines existing challenges and opportunities, and provides future research directions in this field.

연구 동기 및 목표

• 클라우드 기반 기술을 활용한 대용량 데이터 처리의 현재 상태를 분석하기 위해.
• 클라우드 환경에서의 대용량 데이터 처리를 위한 기존 도구, 프레임워크, 플랫폼를 식별하고 분류하기 위해.
• 대용량 데이터 워크로드를 처리하기 위해 클라우드 컴퓨팅의 타당성을 평가하기 위해.
• 성능, 보안, 확장성과 같은 주요 과제들을 포함하여 클라우드 기반 대용량 데이터 시스템의 주요 과제를 검토하기 위해.
• 분산 및 클라우드 네이티브 아키텍처에서 대용량 데이터 분석을 향상시키기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 아키텍처 모델과 사용 사례를 기반으로 기존의 대용량 데이터 처리 도구 및 프레임워크를 설문 조사하고 분류하기 위해.
• 기계 학습 및 통계 모델링과 같은 대용량 데이터에 적용 가능한 수학적 및 데이터 분석 기법을 분석하기 위해.
• 대용량 데이터 워크로드를 위한 스토리지 및 처리의 동적 확장을 지원하는 데에 클라우드 기반 인프라의 능력을 평가하기 위해.
• 기술적, 운영적, 보안적 차원으로 클라우드 기반 대용량 데이터 시스템의 과제를 분류하기 위해.
• 배치, 스트림, 실시간 처리를 포함한 대용량 데이터 처리 모델의 분류 체계를 수립하고, 관련 클라우드 네이티브 솔루션을 제시하기 위해.
• 기존 문헌의 통합된 통찰을 통해 클라우드 네이티브 대용량 데이터 분석 분야에서의 격차와 기회를 규명하기 위해.

실험 결과

연구 질문

• RQ1 확장 가능한 대용량 데이터 처리를 가능하게 하는 주요 클라우드 기반 기술과 프레임워크는 무엇인가요?
• RQ2 수학적 및 데이터 분석 기법은 클라우드 환경에서 대용량 데이터의 가치 추출을 어떻게 향상시키나요?
• RQ3 클라우드 플랫폼에 대용량 데이터 워크로드를 구현할 때 주요 기술적 및 운영 과제는 무엇인가요?
• RQ4 클라우드 컴퓨팅은 대용량 데이터의 동적 스토리지 및 처리 요구 사항을 충족시키는 데 있어 얼마나 타당한가요?
• RQ5 클라우드 기반 대용량 데이터 시스템에서 성능, 보안, 효율성을 향상시키기 위한 새로운 연구 방향은 무엇인가요?

주요 결과

• 클라우드 컴퓨팅은 대용량 데이터의 동적 스토리지 및 처리 요구 사항을 처리하기 위한 확장성 있고 유연한 인프라를 제공한다.
• Hadoop, Spark, Flink와 같은 다양한 도구와 프레임워크들이 클라우드 환경에서 다양한 대용량 데이터 처리 모델을 지원하기 위해 개발되었다.
• 클라우드 기반 대용량 데이터 처리에서의 과제로는 데이터 보안, 개인정보 보호, 지연 시간, 분산 환경에서의 자원 할당 효율성 등이 있다.
• 기계 학습과 같은 고급 분석 기법을 클라우드 플랫폼과 통합함으로써 대규모 데이터에서 실시간 인사이트와 의사결정을 가능하게 한다.
• 향후 연구는 저지연 처리를 위한 클라우드 네이티브 아키텍처 최적화, 데이터 거버넌스 향상, 분산 대용량 데이터 파이프라인의 장애 내성 향상에 초점을 맞춰야 한다.
• 다양한 클라우드 기반 대용량 데이터 솔루션의 성능을 비교하기 위한 표준화된 벤치마크와 평가 프레임워크가 여전히 필요로 한다.