[论文解读] MediaPipe: A Framework for Building Perception Pipelines

Camillo Lugaresi, Jiuqiang Tang+12 more|arXiv (Cornell University)|Jun 14, 2019

Embedded Systems Design Techniques参考文献 6被引用 219

一句话总结

MediaPipe 提供基于图的框架，用于构建、评估和部署感知管线，具备可重复使用的组件、跨平台支持和性能工具。

ABSTRACT

Building applications that perceive the world around them is challenging. A developer needs to (a) select and develop corresponding machine learning algorithms and models, (b) build a series of prototypes and demos, (c) balance resource consumption against the quality of the solutions, and finally (d) identify and mitigate problematic cases. The MediaPipe framework addresses all of these challenges. A developer can use MediaPipe to build prototypes by combining existing perception components, to advance them to polished cross-platform applications and measure system performance and resource consumption on target platforms. We show that these features enable a developer to focus on the algorithm or model development and use MediaPipe as an environment for iteratively improving their application with results reproducible across different devices and platforms. MediaPipe will be open-sourced at https://github.com/google/mediapipe.

研究动机与目标

• 通过将可重复使用的组件（calculators）组合成图形来实现感知管线的快速原型设计。
• 提供跨平台部署环境，跨设备保持行为与性能。
• 提供用于性能评估、同步和资源管理的工具，以指导迭代改进。
• 支持 GPU 加速和多平台图形 API，以优化感知工作负载。
• 通过开放架构（含子图和可配置执行）促进传播和重复使用。

提出的方法

• 将管线定义为由时间戳数据流连接的模块化计算器图。
• 使用 GraphConfig 协议缓冲区来描述拓扑和节点选项。
• 支持用于常量数据的 side packet，以及用于时变数据的数据流。
• 实现一个调度系统，具备按节点就绪、时间戳和执行器以实现并行性。
• 提供 GPU 集成，含不透明缓冲区以及 OpenGL/Metal 工作流的跨上下文同步。
• 提供性能工具（Tracer 和 Visualizer）来分析数据包流和图拓扑。

实验结果

研究问题

• RQ1 如何将感知管线高效原型化为可模块化的计算器图？
• RQ2 MediaPipe 如何管理调度、同步和确定性，以支持实时管线？
• RQ3 哪些机制能够在不牺牲性能的前提下实现跨平台部署和 GPU 加速？
• RQ4 哪些工具支持感知图的性能评估和调试？

主要发现

• MediaPipe 通过将可重复使用的 calculator 组件组合成可配置图来实现快速原型设计。
• 该框架基于逐流时间戳和已确定时间戳提供确定性而灵活的同步。
• GPU 支持与跨上下文同步集成，使 GPU 加速的管线在不产生 CPU 瓶颈的情况下运行。
• 性能工具（Tracer 和 Visualizer）有助于跟踪数据包流、延迟和图拓扑以便进行调优。
• 子图和模块化计算器促进在开发与部署环境中实现重复使用和跨平台一致性。