[论文解读] A Hierarchical Distributed Processing Framework for Big Image Data

Le Dong, Zhiyu Lin+6 more|arXiv (Cornell University)|Jul 3, 2016

Brain Tumor Detection and Classification被引用 3

一句话总结

本文提出 ICP，一种用于大规模图像数据的分层分布式处理框架，通过结合 MapReduce 与创新的数据表示方法——P-Image 和 Big-Image，实现高效的并行处理。SICP 处理由预存储的静态数据，而 DICP 支持实时动态输入，在 ImageNet 上的验证表明，该框架在保持结果质量的同时，相较于单节点方法（如 OpenCV）实现了显著的加速，具备出色的可扩展性和抗压能力。

ABSTRACT

This paper introduces an effective processing framework nominated ICP (Image Cloud Processing) to powerfully cope with the data explosion in image processing field. While most previous researches focus on optimizing the image processing algorithms to gain higher efficiency, our work dedicates to providing a general framework for those image processing algorithms, which can be implemented in parallel so as to achieve a boost in time efficiency without compromising the results performance along with the increasing image scale. The proposed ICP framework consists of two mechanisms, i.e. SICP (Static ICP) and DICP (Dynamic ICP). Specifically, SICP is aimed at processing the big image data pre-stored in the distributed system, while DICP is proposed for dynamic input. To accomplish SICP, two novel data representations named P-Image and Big-Image are designed to cooperate with MapReduce to achieve more optimized configuration and higher efficiency. DICP is implemented through a parallel processing procedure working with the traditional processing mechanism of the distributed system. Representative results of comprehensive experiments on the challenging ImageNet dataset are selected to validate the capacity of our proposed ICP framework over the traditional state-of-the-art methods, both in time efficiency and quality of results.

研究动机与目标

• 为解决在分布式和云环境中高效处理大规模图像数据的日益增长的挑战。
• 克服单节点图像处理框架（如 OpenCV）在数据量增加时成为性能瓶颈的局限性。
• 设计一种通用、可扩展的框架，支持云计算环境中静态与动态图像工作负载的统一处理。
• 通过利用 MapReduce 和新型数据抽象，在不牺牲结果质量的前提下提升时间效率。
• 通过优化数据表示与分布式调度，实现对大规模图像数据的鲁棒、高性能处理。

提出的方法

• 提出 ICP，一种分层框架，包含两种机制：SICP 用于处理静态大规模图像数据，DICP 用于处理动态输入。
• 引入 P-Image 和 Big-Image 作为新型数据表示方法，以最小化 I/O 开销并提升分布式系统中的数据局部性。
• 采用 MapReduce 作为底层执行模型，实现集群间的水平扩展与容错能力。
• 在 DICP 中采用并行处理流水线，实现对图像流的即时响应，无延迟处理。
• 在 DICP 中设计内部调度机制，确保在高负载下仍具备稳定性和抗压能力。
• 实现图像生成、P-Image/Big-Image 创建与实际图像处理的并发处理，避免流水线瓶颈。

实验结果

研究问题

• RQ1 如何设计一种通用的分布式框架，以高效处理大规模图像数据，同时不牺牲结果质量？
• RQ2 何种新型数据表示方法可显著降低 I/O 开销，并提升分布式图像处理中的处理效率？
• RQ3 如何在统一、可扩展的架构中同时支持预存储的静态图像数据与实时动态图像输入？
• RQ4 与单节点系统（如 OpenCV）相比，所提框架在时间效率与可扩展性方面能提升多少？
• RQ5 DICP 中的内部调度机制在高负载与动态工作负载下对性能有何影响？

主要发现

• ICP 框架在大规模图像处理工作负载下，相较于单节点系统（如 OpenCV）实现了显著的加速。
• P-Image 和 Big-Image 表示方法显著降低了输入消耗与 I/O 开销，提升了整体处理效率。
• SICP 在处理分布式系统中存储的大规模静态图像数据时表现出高效率，性能随集群规模线性扩展。
• DICP 在高负载下展现出强大的抗压能力与稳定性，即使在图像输入速率持续增加的情况下，仍能保持一致的性能表现。
• 通过在 ImageNet 数据集上与最先进方法的视觉与定量对比验证，框架保持了高质量的结果输出。
• 实验结果证实，所提框架具备良好的可扩展性与鲁棒性，适用于云环境中真实世界的大规模图像数据处理。