[論文レビュー] A Hierarchical Distributed Processing Framework for Big Image Data

Le Dong, Zhiyu Lin+6 more|arXiv (Cornell University)|Jul 3, 2016

Brain Tumor Detection and Classification被引用数 3

ひとこと要約

本稿では、MapReduceを活用し、P-ImageおよびBig-Imageという新規データ表現を用いることで、効率的な並列処理を可能にする、大規模な画像データ向けの階層的分散処理フレームワークICPを提案する。SICPは事前に保存された静的データを処理するが、DICPはリアルタイムの動的入力をサポートし、OpenCVのような単一ノード手法に比べて顕著な高速化を達成しながら、結果の品質を損なわない。ImageNetを用いた評価により、高いスケーラビリティと負荷耐性が裏付けられている。

ABSTRACT

This paper introduces an effective processing framework nominated ICP (Image Cloud Processing) to powerfully cope with the data explosion in image processing field. While most previous researches focus on optimizing the image processing algorithms to gain higher efficiency, our work dedicates to providing a general framework for those image processing algorithms, which can be implemented in parallel so as to achieve a boost in time efficiency without compromising the results performance along with the increasing image scale. The proposed ICP framework consists of two mechanisms, i.e. SICP (Static ICP) and DICP (Dynamic ICP). Specifically, SICP is aimed at processing the big image data pre-stored in the distributed system, while DICP is proposed for dynamic input. To accomplish SICP, two novel data representations named P-Image and Big-Image are designed to cooperate with MapReduce to achieve more optimized configuration and higher efficiency. DICP is implemented through a parallel processing procedure working with the traditional processing mechanism of the distributed system. Representative results of comprehensive experiments on the challenging ImageNet dataset are selected to validate the capacity of our proposed ICP framework over the traditional state-of-the-art methods, both in time efficiency and quality of results.

研究の動機と目的

• 分散およびクラウド環境における大規模な画像データ処理の効率性を高めるという増大する課題に対処すること。
• データ量の増加に伴いボトルネックとなるようになる、OpenCVのような単一ノード画像処理フレームワークの限界を克服すること。
• クラウドコンピューティング環境において、静的および動的画像ワークロードの両方をサポートする汎用的でスケーラブルなフレームワークを設計すること。
• MapReduceと新規データ抽象化を活用することで、結果の品質を損なわず時間効率を向上させること。
• 最適化されたデータ表現および分散スケジューリングを通じて、大規模な画像データの堅牢で高性能な処理を実現すること。

提案手法

• 静的の大規模画像データ向けのSICPと動的入力向けのDICPを備えた階層的フレームワークICPを提案する。
• I/Oオーバーヘッドを最小限に抑え、分散システムにおけるデータローカリティを向上させるために、P-ImageおよびBig-Imageという新規データ表現を導入する。
• 水平スケーリングとクラスタ全体におけるフォールトトレランスを実現するため、実行モデルとしてMapReduceを採用する。
• 入力画像ストリームに対して遅延なく即時応答できるように、DICPで並列処理パイプラインを採用する。
• 高負荷下でも安定性と耐久性を確保するため、DICPに内部スケジューリングメカニズムを設計する。
• 画像生成、P-Image/Big-Image作成、実際の画像処理の並列処理を可能にし、パイプラインのボトルネックを回避する。

実験結果

リサーチクエスチョン

• RQ1 結果の品質を損なわず、大規模な画像データを効率的に処理できる汎用的分散フレームワークをどのように設計できるか？
• RQ2 分散画像処理において、I/Oオーバーヘッドを顕著に低減し、処理効率を向上させる新規データ表現は何か？
• RQ3 統一的でスケーラブルなアーキテクチャにおいて、事前に保存された静的画像データとリアルタイムの動的入力の両方をどのようにサポートできるか？
• RQ4 OpenCVのような単一ノードシステムに比べて、提案フレームワークは時間効率およびスケーラビリティの面でどの程度優れているか？
• RQ5 DICPの内部スケジューリングメカニズムは、高負荷および動的ワークロード下でのパフォーマンスにどのように影響を与えるか？

主な発見

• ICPフレームワークは、特に大規模な画像処理ワークロードにおいて、OpenCVのような単一ノードシステムに比べて顕著な高速化を達成している。
• P-ImageおよびBig-Image表現は、入力消費量とI/Oオーバーヘッドを顕著に低減し、全体の処理効率を向上させている。
• SICPは、分散システムに保存された大規模な静的画像データの処理において高い効率を示しており、クラスタサイズに比例して性能が線形にスケーリングする。
• DICPは、高負荷下でも強い耐久性と安定性を示し、入力レートが増加しても一貫したパフォーマンスを維持している。
• ImageNetデータセット上で最先端手法との視覚的および定量的比較により、結果の品質が高く保たれていることが検証された。
• 実験結果から、提案フレームワークがスケーラブルかつ耐久性に優れており、クラウド環境における実世界の大規模画像データ処理に適していることが確認された。