[論文レビュー] MediaPipe: A Framework for Building Perception Pipelines

Camillo Lugaresi, Jiuqiang Tang+12 more|arXiv (Cornell University)|Jun 14, 2019

Embedded Systems Design Techniques参考文献 6被引用数 219

ひとこと要約

MediaPipe は、再利用可能なコンポーネント、クロスプラットフォーム対応、パフォーマンスツールを備えた、グラフベースのフレームワークを提供し、知覚パイプラインの構築、評価、デプロイを可能にします。

ABSTRACT

Building applications that perceive the world around them is challenging. A developer needs to (a) select and develop corresponding machine learning algorithms and models, (b) build a series of prototypes and demos, (c) balance resource consumption against the quality of the solutions, and finally (d) identify and mitigate problematic cases. The MediaPipe framework addresses all of these challenges. A developer can use MediaPipe to build prototypes by combining existing perception components, to advance them to polished cross-platform applications and measure system performance and resource consumption on target platforms. We show that these features enable a developer to focus on the algorithm or model development and use MediaPipe as an environment for iteratively improving their application with results reproducible across different devices and platforms. MediaPipe will be open-sourced at https://github.com/google/mediapipe.

研究の動機と目的

• 再利用可能なコンポーネント（計算機）をグラフに組み合わせて、知覚パイプラインの迅速なプロトタイピングを実現する。
• デバイス間で挙動と性能を保つクロスプラットフォーム展開環境を提供する。
• 反復的な改善を導くための性能評価、同期、リソース管理のツールを提供する。
• 知覚ワークロードを最適化するためのGPU加速とマルチプラットフォームのグラフィックスAPIをサポートする。
• サブグラフと構成可能な実行を備えたオープンアーキテクチャを通じて普及と再利用を促進する。

提案手法

• パイプラインを、時刻スタンプ付きデータストリームで接続されたモジュラ計算機のグラフとして定義する。
• トポロジとノードオプションを記述するために GraphConfig プロトコルバッファを使用する。
• 一定データのサイドパケットと、時間変化データのストリームをサポートする。
• ノードごとの準備性、タイムスタンプ、並列実行のためのエグゼクタを備えたスケジューリングシステムを実装する。
• 不透明なバッファと OpenGL/Metal ワークフローのクロスコンテキスト同期を備えたGPU統合を提供する。
• パケットフローとグラフトポロジを分析するための性能ツール（Tracer and Visualizer）を提供する。

実験結果

リサーチクエスチョン

• RQ1 知覚パイプラインをモジュラーな計算機のグラフとして効率的にプロトタイプ化するにはどうすればよいか？
• RQ2 MediaPipe はリアルタイムパイプラインをサポートするために、スケジューリング、同期、決定論性をどのように管理するか？
• RQ3 パフォーマンスを損なうことなく、クロスプラットフォーム展開とGPU加速を可能にする仕組みは何か？
• RQ4 知覚グラフの性能評価とデバッグをサポートするツールは何か？

主な発見

• MediaPipe は、再利用可能な計算機コンポーネントを構成可能なグラフに組み合わせることで迅速なプロトタイピングを可能にする。
• このフレームワークは、各ストリームのタイムスタンプと確定済みタイムスタンプに基づく、決定論的でありながら柔軟な同期を提供する。
• GPUサポートはクロスコンテキスト同期と統合され、CPUボトルネックなしにGPU加速パイプラインを実現する。
• パフォーマンスツール（Tracer and Visualizer）は、チューニングのためのパケットフロー、待機遅延、グラフトポロジの追跡を促進する。
• サブグラフとモジュール式計算機は、開発とデプロイ環境全体での再利用とクロスプラットフォームの一貫性を促進する。