[論文レビュー] On the inequality of the 3V's of Big Data Architectural Paradigms: A case for heterogeneity

Todor Ivanov, Nikolaos Korfiatis+1 more|arXiv (Cornell University)|Nov 4, 2013

Cloud Computing and Resource Management参考文献 56被引用数 9

ひとこと要約

この論文は、ビッグデータの3V（ボリューム、バリエティ、ボリューム）がシステム設計において同等に重要であるという仮定に反し、それらが必ずしも同等ではないと主張している。ハドゥープエコシステムを多様性の観点から分析することで、著者たちはアーキテクチャ的選択が作業負荷に特化すべきであると提唱し、3Vの次元ごとに異なる優先順位を反映するツールの分類を提示している。最終的に、異なるデータ処理ニーズに適合した異種のプラットフォームの構築を提唱している。

ABSTRACT

The well-known 3V architectural paradigm for Big Data introduced by Laney (2011), provides a simplified framework for defining the architecture of a big data platform to be deployed in various scenarios tackling processing of massive datasets. While additional components such as Variability and Veracity have been discussed as an extension to the 3V model, the basic components (volume, variety, velocity) provide a quantitative framework while variability and veracity target a more qualitative approach. In this paper we argue why the basic 3V's are not equal due to the different requirements that need to be covered in case higher demands for a particular "V". Similar to other conjectures such as the CAP theorem 3V based architectures differ on their implementation. We call this paradigm heterogeneity and we provide a taxonomy of the existing tools (as of 2013) covering the Hadoop ecosystem from the perspective of heterogeneity. This paper contributes on the understanding of the Hadoop ecosystem from the perspective of different workloads and aims to help researchers and practitioners on the design of scalable platforms targeting different operational needs.

研究の動機と目的

• ビッグデータの3V（ボリューム、バリエティ、ボリューム）がシステム設計において同等に重要であるという仮定に反論すること。
• 異なるワークロードがビッグデータプラットフォームに異なる要件を課し、それらがアーキテクチャの多様性を必要とすることを示すこと。
• 2013年時点のハドゥープエコシステムツールを、特定のV次元に適合するように分類する分類法を提供すること。
• 研究者および実務家がスケーラブルでワークロードに配慮したビッグデータプラットフォームを設計するのを支援すること。
• 実装およびシステム動作の観点から、3Vの間の不平等性を強調することで、3Vモデルを拡張すること。

提案手法

• 2013年時点のハドゥープエコシステムを分析し、特定のV次元の処理に特化したツールやフレームワークを同定すること。
• ツールがボリューム、バリエティ、ボリュームのいずれの次元に主に対応しているかに基づいて分類し、アーキテクチャ的特化の兆候を明らかにすること。
• 多様性の概念を用いて、さまざまなワークロード下でのシステム動作の違いをフレームにすること。
• CAP定理と類似する点を示すことで、分散システムにおけるトレードオフと同様に、3Vベースのアーキテクチャにもトレードオフが存在することを説明すること。
• 操作上のニーズやデプロイメント環境に注目しながら、ツールが3V次元をどの程度カバーしているかを評価する定性的フレームワークを適用すること。
• ツールが支配的に対応するV次元にマッピングする分類法を構築し、アーキテクチャの差異を強調すること。

実験結果

リサーチクエスチョン

• RQ1 なぜビッグデータの3Vがシステムアーキテクチャ設計において同等に重要ではないのか？
• RQ2 さまざまなワークロードがビッグデータプラットフォームにどのように異なるアーキテクチャ的要件をもたらすのか？
• RQ3 既存のハドゥープエコシステムツールは、ボリューム、バリエティ、ボリュームの各次元にどの程度特化しているのか？
• RQ4 アーキテクチャの多様性は、ビッグデータシステムの設計原則として実現可能なのか？
• RQ5 3Vの間の不平等性が、ビッグデータテクノロジーの選定およびデプロイメントにどのように影響するのか？

主な発見

• 実際の運用では3Vモデルは本質的に不平等であり、異なるワークロードがシステム設計に一意的で相互に置き換えができない要求を課している。
• ビッグデータプラットフォームにおけるアーキテクチャ的選択は一様ではない。優先されるV次元によって顕著に異なる。
• ハドゥープエコシステムには明確な特化が見られ、ボリュームに最適化されたツール（例：HDFS）、バリエティに最適化されたツール（例：Hive、Pig）、ボリュームに最適化されたツール（例：Storm、Samza）が存在する。
• システム設計における多様性は欠陥ではなく、ビッグデータワークロードの多様な運用ニーズを反映する必須の特徴である。
• 本論文が提示するハドゥープツールの分類は、1つのプラットフォームが同時に3つのV次元を最適に処理できるとは限らないことを裏付けている。
• 著者たちは、一様な3Vアプローチは不十分であり、プラットフォーム選定はワークロードに特化した優先順位に従うべきだと結論づけている。