[논문 리뷰] Big Data: Challenges, Opportunities and Realities

Abhay Kumar Bhadani, Dhanya Jothimani|arXiv (Cornell University)|2017. 05. 14.

Cloud Computing and Resource Management인용 수 46

한 줄 요약

이 논문은 IoT 및 웹2.0 환경에서의 대용량 데이터의 도전 과제, 기회 및 현실을 고려하여 기존의 관계형 데이터베이스 관리 시스템(RDBMS)의 한계를 분석하고, 확장 가능한 데이터 처리를 위한 Hadoop과 NoSQL과 같은 신규 기술을 평가한다. 대용량 데이터 분석, 도구 및 향후 연구 방향에 대한 종합적인 개요를 제시하며, 고속도, 대용량 데이터 워크로드를 처리하기 위해 관계형 시스템에서 분산 시스템으로의 전환을 강조한다.

ABSTRACT

With the advent of Internet of Things (IoT) and Web 2.0 technologies, there has been a tremendous growth in the amount of data generated. This chapter emphasizes on the need for big data, technological advancements, tools and techniques being used to process big data are discussed. Technological improvements and limitations of existing storage techniques are also presented. Since, the traditional technologies like Relational Database Management System (RDBMS) have their own limitations to handle big data, new technologies have been developed to handle them and to derive useful insights. This chapter presents an overview of big data analytics, its application, advantages, and limitations. Few research issues and future directions are presented in this chapter.

연구 동기 및 목표

• IoT 및 웹2.0 기술로 인한 증가하는 데이터 볼륨과 그 데이터 관리에 대한 영향을 분석하기 위해.
• 대용량 데이터 워크로드를 처리하는 데 있어 기존의 관계형 데이터베이스 관리 시스템(RDBMS)의 한계를 특정하기 위해.
• 대용량 데이터 처리를 위한 Hadoop, NoSQL 및 분산 컴퓨팅 프레임워크와 같은 신규 기술을 평가하기 위해.
• 응용 분야, 장점 및 내재된 과제를 포함한 대용량 데이터 분석의 개요를 제시하기 위해.
• 대용량 데이터 연구 및 시스템 설계 분야에서의 주요 연구 문제와 향후 방향을 요약하기 위해.

제안 방법

• 대용량 데이터 처리 및 저장 분야의 기존 문헌과 기술적 발전을 조사하기 위해.
• 기존의 RDBMS와 Hadoop 및 NoSQL 데이터베이스와 같은 현대적 분산 시스템을 비교하기 위해.
• 배치 처리 및 스트림 처리 기법을 사용한 데이터 처리 파이프라인을 분석하기 위해.
• 대용량 데이터 프레임워크의 확장성, 장애 내성 및 성능 특성을 평가하기 위해.
• 데이터 수집, 저장, 처리 및 분석에 사용되는 기준에 따라 대용량 데이터 도구를 분류하기 위해.
• 대용량 데이터 분석 워크플로우 및 시스템 아키텍처를 위한 개념적 프레임워크를 제시하기 위해.

실험 결과

연구 질문

• RQ1 IoT 및 웹2.0에서 생성되는 대용량 데이터를 관리하는 데 있어 주요 기술적 과제는 무엇인가요?
• RQ2 기존의 RDBMS 시스템은 대용량 데이터 워크로드에 대해 어떻게 효과적으로 확장되지 못합니까?
• RQ3 Hadoop 및 NoSQL과 같은 현대적 대용량 데이터 기술의 핵심 기능과 한계는 무엇입니까?
• RQ4 대규모 고속도 데이터를 처리하고 분석하기 위해 가장 효과적인 도구와 기법은 무엇입니까?
• RQ5 대용량 데이터 시스템과 분석을 발전시키기 위해 필수적인 향후 연구 방향은 무엇입니까?

주요 결과

• 고정된 스키마와 확장성 제약으로 인해 기존의 RDBMS 시스템은 대용량 데이터의 볼륨, 속도 및 다양성 처리에 부적합합니다.
• Hadoop 및 NoSQL 데이터베이스와 같은 분산 시스템은 대용량 데이터 워크로드에 대해 뛰어난 확장성과 장애 내성을 제공합니다.
• 대용량 데이터 분석은 헬스케어, 금융, 소셜 미디어와 같은 다양한 분야에서 실시간 인사이트 및 의사결정을 가능하게 합니다.
• Hadoop 생태계(HDFS, MapReduce, Hive 등)의 도입은 대규모 데이터 세트의 배치 처리 분야에서 사실상의 표준이 되었습니다.
• 기술 발전에도 불구하고 이질적인 대용량 데이터 플랫폼 간의 데이터 품질, 보안 및 상호운용성 문제는 여전히 남아 있습니다.
• 향후 연구는 실시간 처리 최적화, 지연 시간 감소 및 대용량 데이터 시스템의 에너지 효율성 향상에 초점을 맞춰야 합니다.