[論文レビュー] Big Data Processing in Complex Hierarchical Network Systems

Olexandr Polishchuk, Dmytro Polishchuk+2 more|arXiv (Cornell University)|Mar 2, 2016

Advanced Data Processing Techniques参考文献 37被引用数 6

ひとこと要約

本論文は、階層的ネットワーク構造、マルチプレックス、分散コンピューティングモデルを導入することで、複雑な階層的ネットワークシステムにおける大規模データ処理のためのフレームワークを提案する。このフレームワークにより、システムの各レベルにわたる並列処理が可能となり、情報フローのスケーラブルな分析が実現され、大規模なネットワーキング環境における処理効率が顕著に向上する。

ABSTRACT

This article covers the problem of processing of Big Data that describe process of complex networks and network systems operation. It also introduces the notion of hierarchical network systems combination into associations and conglomerates alongside with complex networks combination into multiplexes. The analysis is provided for methods of global network structures study depending on the purpose of the research. Also the main types of information flows in complex hierarchical network systems being the basic components of associations and conglomerates are covered. Approaches are proposed for creation of efficient computing environments, distributed computations organization and information processing methods parallelization at different levels of system hierarchy.

研究の動機と目的

• 階層的アーキテクチャを持つ複雑なネットワークシステムが生成する大規模スケールのデータ処理の課題に対処すること。
• 複雑なネットワークを関連性やコンglomeratesに統合する統一モデルの開発により、包括的なシステム分析を可能にすること。
• 多層階の階層的ネットワークシステムにおける情報フロー管理と分散コンピューティングの最適化。
• システム階層レベルにわたる並列処理を通じて、スケーラブルで効率的なデータ処理を実現すること。
• 研究目的に応じてグローバルネットワーク構造分析をカスタマイズすることで、多様な研究目的を支援すること。

提案手法

• 複雑で多層的なネットワークデータを整理するフレームワークとして、階層的ネットワークシステムの概念を導入する。
• 複雑なネットワークを高次元の構造に統合することでマルチプレックスを形成する手法を提案する。
• スケーラビリティを向上させるために、システム階層の異なるレベルに適した分散コンピューティング環境を設計する。
• 階層レベルにわたる情報処理の並列化技術を活用し、遅延を低減する。
• システムレベルの抽象化を用いて、関連性やコンglomerates内での多様な情報フローのモデリングと管理を実現する。
• 研究目的に応じて計算モデルを調整することで、柔軟なグローバルネットワーク構造分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、複雑な階層的ネットワークシステムからの大規模データをスケールして効率的に処理できるか？
• RQ2 研究目的に基づいて、グローバルネットワーク構造を最適にモデリング・分析する方法は何か？
• RQ3 階層的ネットワークシステム内の情報フローは、どのように体系的に分類・管理できるか？
• RQ4 階層的レベルにわたる効率的で並列処理可能なデータ処理を支援する分散コンピューティングアーキテクチャは何か？
• RQ5 複雑なネットワークをどのようにマルチプレックスに統合することで、システムレベルの分析と処理を向上できるか？

主な発見

• 提案されたフレームワークにより、ネットワークシステムを階層構造とマルチプレックスに整理することで、大規模データのスケーラブルな処理が可能になった。
• システム階層の異なるレベルに適した分散コンピューティング環境が効果的に設計され、処理効率が向上した。
• 階層レベルにわたる情報処理の並列化により、計算のボトルネックが軽減され、スループットが向上した。
• 特定の研究目的に応じた柔軟なグローバルネットワーク構造分析が可能となり、適応性が向上した。
• 関連性やコンglomerates内の情報フローが体系的に同定・管理され、構造的なデータ処理が実現した。
• 階層的ネットワークシステムとマルチプレックスネットワーク構造の統合により、大規模データ分析の強固な基盤が提供された。