[논문 리뷰] MediaPipe: A Framework for Building Perception Pipelines

Camillo Lugaresi, Jiuqiang Tang외 12명|arXiv (Cornell University)|2019. 06. 14.

Embedded Systems Design Techniques참고 문헌 6인용 수 219

한 줄 요약

MediaPipe는 재사용 가능한 구성 요소를 활용한 그래프 기반 프레임워크로, 재사용 가능한 구성 요소를 가진 인식 파이프라인을 구축하고 평가하며 배포합니다. 교차 플랫폼 지원 및 성능 도구를 제공합니다.

ABSTRACT

Building applications that perceive the world around them is challenging. A developer needs to (a) select and develop corresponding machine learning algorithms and models, (b) build a series of prototypes and demos, (c) balance resource consumption against the quality of the solutions, and finally (d) identify and mitigate problematic cases. The MediaPipe framework addresses all of these challenges. A developer can use MediaPipe to build prototypes by combining existing perception components, to advance them to polished cross-platform applications and measure system performance and resource consumption on target platforms. We show that these features enable a developer to focus on the algorithm or model development and use MediaPipe as an environment for iteratively improving their application with results reproducible across different devices and platforms. MediaPipe will be open-sourced at https://github.com/google/mediapipe.

연구 동기 및 목표

• 재사용 가능한 구성 요소(계산기)를 그래프로 구성하여 인식 파이프라인의 빠른 프로토타이핑을 가능하게 한다.
• 장치 간 동작 및 성능을 보존하는 교차 플랫폼 배포 환경을 제공한다.
• 반복적인 개선을 안내하는 성능 평가, 동기화 및 자원 관리 도구를 제공한다.
• GPU 가속 및 다중 플랫폼 그래픽 API를 지원하여 인식 작업 부하를 최적화한다.
• 하위 그래프와 구성 가능한 실행을 갖춘 개방형 아키텍처를 통해 확산과 재사용을 촉진한다.

제안 방법

• 파이프라인을 시간 스탬프가 붙은 데이터 스트림으로 연결된 모듈식 계산기의 그래프로 정의한다.
• 토폴로지와 노드 옵션을 설명하기 위해 GraphConfig 프로토콜 버퍼를 사용한다.
• 상수 데이터용 사이드 패킷과 시간에 따라 변화하는 데이터용 스트림을 지원한다.
• 병렬성을 위한 노드별 준비 상태, 타임스탬프 및 실행기를 갖춘 스케줄링 시스템을 구현한다.
• 불투명 버퍼를 통한 GPU 통합 및 OpenGL/Metal 워크플로의 컨텍스트 간 동기화를 제공한다.
• 패킷 흐름과 그래프 토폴로지를 분석하기 위한 성능 도구(Tracer와 Visualizer)를 제공한다.

실험 결과

연구 질문

• RQ1 인식 파이프라인을 모듈식 계산기의 그래프로 효율적으로 프로토타이핑할 수 있는 방법은?
• RQ2 MediaPipe는 실시간 파이프라인을 지원하기 위해 스케줄링, 동기화 및 결정론을 어떻게 관리하는가?
• RQ3 성능 저하 없이 교차 플랫폼 배포와 GPU 가속을 가능하게 하는 메커니즘은 무엇인가?
• RQ4 인식 그래프의 성능 평가 및 디버깅을 지원하는 도구는 무엇인가?

주요 결과

• MediaPipe는 재사용 가능한 계산기 구성 요소를 구성 가능한 그래프로 결합하여 빠른 프로토타이핑을 가능하게 한다.
• 프레임워크는 스트림별 타임스탬프와 확정된 타임스탬프를 기반으로 결정론적이면서도 유연한 동기화를 제공한다.
• GPU 지원은 컨텍스트 간 동기화와 통합되어 CPU 병목 없이 GPU 가속 파이프라인을 가능하게 한다.
• 성능 도구(Tracer 및 Visualizer)는 패킷 흐름, 지연 및 그래프 토폴로지를 추적하여 튜닝을 돕는다.
• 하위 그래프와 모듈식 계산기는 개발 및 배포 환경 전반에서 재사용과 교차 플랫폼 일관성을 촉진한다.