[논문 리뷰] On the inequality of the 3V's of Big Data Architectural Paradigms: A case for heterogeneity

Todor Ivanov, Nikolaos Korfiatis외 1명|arXiv (Cornell University)|2013. 11. 04.

Cloud Computing and Resource Management참고 문헌 56인용 수 9

한 줄 요약

이 논문은 빅데이터의 3V(용량, 다양성, 속도)가 시스템 설계에서 동등하게 중요시된다는 가정에 도전하며, 이들의 상호등가성에 의문을 제기한다. 이질성의 관점에서 2013년 기준 Hadoop 생태계를 분석함으로써, 아키텍처 선택은 워크로드 특화되어야 하며, 이는 3V 차원에서 서로 다른 우선순위를 반영하는 도구의 분류 체계로 이어진다. 최종적으로는 다양한 데이터 처리 요구에 맞춰 이질적인 플랫폼을 설계할 것의 필요성을 주장한다.

ABSTRACT

The well-known 3V architectural paradigm for Big Data introduced by Laney (2011), provides a simplified framework for defining the architecture of a big data platform to be deployed in various scenarios tackling processing of massive datasets. While additional components such as Variability and Veracity have been discussed as an extension to the 3V model, the basic components (volume, variety, velocity) provide a quantitative framework while variability and veracity target a more qualitative approach. In this paper we argue why the basic 3V's are not equal due to the different requirements that need to be covered in case higher demands for a particular "V". Similar to other conjectures such as the CAP theorem 3V based architectures differ on their implementation. We call this paradigm heterogeneity and we provide a taxonomy of the existing tools (as of 2013) covering the Hadoop ecosystem from the perspective of heterogeneity. This paper contributes on the understanding of the Hadoop ecosystem from the perspective of different workloads and aims to help researchers and practitioners on the design of scalable platforms targeting different operational needs.

연구 동기 및 목표

• 빅데이터의 3V(용량, 다양성, 속도)가 시스템 설계에서 동일하게 중요시된다는 가정을 도전하는 것.
• 다양한 워크로드가 빅데이터 플랫폼에 서로 다른 요구사항을 부과하며, 이는 아키텍처의 이질성을 필요로 한다는 것을 보여주는 것.
• 2013년 기준 Hadoop 생태계 도구에 대한 분류 체계를 제시하여 특정 V-차원과의 일치도를 기반으로 하는 것.
• 연구자와 실무자들이 확장 가능하고 워크로드 인지 기반의 빅데이터 플랫폼을 설계하는 데 도움을 주는 것.
• 3V 모델을 확장하여, 실제로는 이행 및 시스템 동작 측면에서 V들 간의 비등가성이 강조되도록 하는 것.

제안 방법

• 2013년 기준 Hadoop 생태계를 분석하여 특정 V-차원을 다루는 데 특화된 도구와 프레임워크를 식별하는 것.
• 용량, 다양성, 속도 중 어느 한 가지에 주로 기여하는 도구를 기반으로 분류함으로써 아키텍처 전문화를 드러내는 것.
• 이질성 개념을 활용하여 다양한 워크로드 하에서의 시스템 행동 차이를 프레임워크화하는 것.
• CAP 정리와 유사한 관계를 도출하여, 분산 시스템에서의 트레이드오프와 유사하게 3V 기반 아키텍처에서도 트레이드오프가 존재한다는 것을 설명하는 것.
• 도구들이 3V 차원을 어떻게 다루는지 평가하기 위해 정성적 프레임워크를 적용하며, 운영 요구사항과 구현 환경에 중점을 두는 것.
• 도구들이 주로 기여하는 V-차원에 따라 매핑하는 분류 체계를 구성함으로써 아키텍처의 이질성을 강조하는 것.

실험 결과

연구 질문

• RQ1 왜 빅데이터의 3V가 시스템 아키텍처 설계에서 동등하게 중요시되지 않는가?
• RQ2 다양한 워크로드는 빅데이터 플랫폼의 아키텍처 요구사항을 어떻게 다를 수 있는가?
• RQ3 기존의 Hadoop 생태계 도구들이 용량, 다양성, 속도 측면에서 얼마나 전문화되어 있는가?
• RQ4 빅데이터 시스템에 있어 아키텍처의 이질성은 실현 가능한 설계 원칙이 될 수 있는가?
• RQ5 3V 간의 비등가성이 빅데이터 기술의 선택 및 구현에 어떻게 영향을 미치는가?

주요 결과

• 실제로 3V 모델은 본질적으로 비등가성을 지닌다. 다양한 워크로드는 아키텍처 설계에 서로 대체할 수 없는 요구사항을 부과한다.
• 빅데이터 플랫폼의 아키텍처 선택은 통일된 방식이 아니며, 우선시하는 V-차원에 따라 크게 다를 수 있다.
• Hadoop 생태계는 명확한 전문화를 보이며, 용량에 최적화된 도구(HDFS 등), 다양성에 최적화된 도구(Hive, Pig 등), 속도에 최적화된 도구(Storm, Samza 등)가 존재한다.
• 시스템 설계의 이질성은 결함이 아니라, 빅데이터 워크로드의 다양한 운영 요구사항을 반영하는 必須적인 특성이다.
• 이 논문에서 제시한 Hadoop 도구 분류 체계는 단일 플랫폼이 동시에 모든 3V 차원을 최적화하여 처리할 수 없다는 점을 확인시킨다.
• 저자들은 일률적인 3V 접근 방식은 부적합하며, 플랫폼 선택은 워크로드 특화된 우선순위에 따라 이뤄져야 한다고 결론 내린다.