[論文レビュー] Towards an Integrated Platform for Big Data Analysis

Mahdi Bohlouli, Frank Schulz+5 more|arXiv (Cornell University)|Apr 27, 2020

Cloud Computing and Resource Management参考文献 20被引用数 22

ひとこと要約

この論文では、スケーラブルなシステムとしての統合的大規模データ分析プラットフォームを提案している。このプラットフォームは、データ管理、処理、分析、可視化を統合的に統合し、大規模データワークロードにおける統合的でスケーラブルなソリューションを提供する。これらのコンponentsを共同設計することで、リソース効率、アルゴリズムのパrameter化、エンドツーエンドの使いやすさが向上し、既存の点対点ソリューションによる分断的課題を解決する。

ABSTRACT

The amount of data in the world is expanding rapidly. Every day, huge amounts of data are created by scientific experiments, companies, and end users' activities. These large data sets have been labeled as "Big Data", and their storage, processing and analysis presents a plethora of new challenges to computer science researchers and IT professionals. In addition to efficient data management, additional complexity arises from dealing with semi-structured or unstructured data, and from time critical processing requirements. In order to understand these massive amounts of data, advanced visualization and data exploration techniques are required. Innovative approaches to these challenges have been developed during recent years, and continue to be a hot topic for re-search and industry in the future. An investigation of current approaches reveals that usually only one or two aspects are ad-dressed, either in the data management, processing, analysis or visualization. This paper presents the vision of an integrated plat-form for big data analysis that combines all these aspects. Main benefits of this approach are an enhanced scalability of the whole platform, a better parameterization of algorithms, a more efficient usage of system resources, and an improved usability during the end-to-end data analysis process.

研究の動機と目的

• 科学的、企業的、ユーザー生成のソースからの大規模かつ多様なデータを分析するという急増する課題に対処すること。
• 大規模データ処理の1つや2つの側面に焦点を当てた既存システムの制限を克服すること。
• データ分析パイプライン全体にわたり、スケーラビリティ、リソース効率、使いやすさを向上させる統一プラットフォームを設計すること。
• データ処理と分析コンponentsの密接な統合を通じて、アルゴリズムのパrameter化とシステムリソースの利用効率を向上させること。

提案手法

• データインジェクション、ストレージ、処理、分析、可視化コンponentsを統合した、包括的なアーキテクチャ的ビジョンを提示すること。
• コンponentレベルのモularityを活用して、多様なデータタイプとワークロード間での拡張性と相互運用性をサポートすること。
• 機械学習パイプラインをデータ処理レイヤーに直接統合し、リアルタイムまたはニアリアルタイム分析を可能にすること。
• メタデータ駆動のオーケストレーションを用いて、データ特性とユーザー要件に基づき動的に処理ワークフローを適応させること。
• 可視化技術をパイプラインの初期段階に統合し、インタラクティブなデータ探索とインサイト発見を支援すること。
• 水平スケーラビリティを設計し、分散コンピューティングの原則を用いて、時間的に制限のある高ボリュームのデータワークロードを処理すること。

実験結果

リサーチクエスチョン

• RQ1 データ管理、処理、分析、可視化をどのように一貫して統合し、エンドツーエンドのデータ分析を改善できるか？
• RQ2 大規模データプラットフォームにおいて、より良いスケーラビリティとリソース利用を実現するアーキテクチャパターンは何か？
• RQ3 システム全体のデータおよびワークロード特性への認識を通じて、アルゴリズムのパrameter化をどのように改善できるか？
• RQ4 大規模データ分析の過程で、早期かつ継続的な可視化が使いやすさとインサイト発見をどのように向上させるか？
• RQ5 統一プラットフォームは、大規模データパイプラインにおける複数の点対点ツールのオーケストレーションの複雑さとオーバーヘッドを削減できるか？

主な発見

• 統合プラットフォームは、ワークロードに適応した実行を可能にするために、データ処理と分析コンponentsを共同設計することで、スケーラビリティが向上した。
• システム全体の文脈認識により、アルゴリズムのパrameter化が向上し、手動でのチューニング作業が削減された。
• データ移動、計算、可視化ワークロードをパイプライン全体で調整することで、リソース利用効率が向上した。
• 分析プロセスの初期段階でインタラクティブなデータ探索と可視化を可能にすることで、使いやすさが向上した。
• 点対点ツールやミドルウェアの必要性が減少し、データワークフローの簡素化と統合のオーバーヘッド低減が達成された。
• 半構造的および非構造的データを低遅延処理要件とともに処理できる統一アーキテクチャの実現可能性が、このビジョンによって示された。