[논문 리뷰] MediaPipe Hands: On-device Real-time Hand Tracking

Fan Zhang, Valentin Bazarevsky외 5명|arXiv (Cornell University)|2020. 06. 18.

Hand Gesture Recognition Systems참고 문헌 10인용 수 543

한 줄 요약

실시간 온 디바이스의 두 단계 손 추적 파이프라인(팔 감지기 + 손 랜드마크 모델)을 제시하여 RGB 입력으로 21개의 2.5D 손 랜드마크를 예측하고 모바일 GPU에서 효율적으로 실행됩니다. cross-platform 배포를 위해 MediaPipe를 통해 오픈 소스화되었습니다.

ABSTRACT

We present a real-time on-device hand tracking pipeline that predicts hand skeleton from single RGB camera for AR/VR applications. The pipeline consists of two models: 1) a palm detector, 2) a hand landmark model. It's implemented via MediaPipe, a framework for building cross-platform ML solutions. The proposed model and pipeline architecture demonstrates real-time inference speed on mobile GPUs and high prediction quality. MediaPipe Hands is open sourced at https://mediapipe.dev.

연구 동기 및 목표

• AR/VR 애플리케이션을 일반 상용 기기에서 실시간 손 추적을 통해 자연스러운 상호작용으로 촉진한다.
• RGB 입력으로 손바닥을 감지하고 21개의 2.5D 손 랜드마크를 예측하는 두 단계 파이프라인을 개발한다.
• 높은 예측 품질과 크로스 플랫폼 가용성을 갖춘 실시간 모바일 GPU 추론을 달성한다.

제안 방법

• 두 단계 파이프라인: BlazePalm과 유사한 손바닥 감지기가 각 손에 대한 경계 상자를 제공하고, 그다음 손 랜드마크 모델이 잘린 손바닥 영역 내에서 21개의 2.5D 랜드마크를 회귀한다.
• 모바일 실시간 탐지를 위해 제곱 바운딩 박스, 인코더-디코더 특징, 초점 손실을 사용하여 큰 스케일 분산을 처리하도록 설계된 손바닥 감지기.
• 손 랜드마크 모델 출력: 21개 랜드마크(x, y, 상대 깊이), 손 존재 여부 플래그, 그리고 손잡이 분류(왼쪽/오른쪽).
• 트래킹은 이전 프레임의 랜드마크를 사용해 현재 프레임을 잘라 detector를 손실되었거나 정렬 신뢰도가 낮을 때만 작동시킨다.
• 보조적인 “hand presence” 점수는 트래킹 실패로부터 회복하도록 필요에 따라 검출기를 재초기화하는 데 도움이 된다.
• GPU 가속과 TensorFlow Lite 백엔드를 가진 모듈식 Calculators 그래프로 MediaPipe 내에 구현.

실험 결과

연구 질문

• RQ1 두 단계 온-디바이스 파이프라인이 모바일 기기에서 RGB 입력으로 21개의 2.5D 손 랜드마크를 실시간으로 정확하게 추정할 수 있는가?
• RQ2 이전 프레임의 랜드마크를 사용해 자르기를 수행하는 것이 감지기 빈도와 전반적 처리량에 어떤 영향을 미치는가?
• RQ3 학습 데이터 구성(실제, 합성, 결합)이 랜드마크 정확도와 시간적 안정성에 미치는 영향은 무엇인가?
• RQ4 시스템이 서로 다른 기기(Android, iOS, desktop) 및 하드웨어 백엔드에서 어떻게 수행되는가?

주요 결과

• 손 랜드마크 모델은 실제 데이터와 합성 데이터를 조합해 학습했을 때 더 높은 정확도를 달성한다(복합 MSE 13.4% vs 16.1%는 실제 데이터만일 때).
• Pixel 3, Samsung S20, iPhone 11에서 경량의 “Light”, “Full”, “Heavy” 모델 변형으로 실시간 온-디바이스 추론이 시연된다.
• “Full” 모델은 10.05 MSE를 달성하고 Pixel 3에서 16.1 ms, iPhone11에서 11.1 ms, Samsung S20에서 5.3 ms의 속도 균형을 이룬다.
• 팔 감지기 설계 선택(정사각형 박스, 인코더-디코더 특징 추출기, focal loss)과 절대적 차이에 대한 차폐의 ablation 연구는 가려짐 및 스케일 분산 하에서도 탐지 강건성을 향상시킨다.
• 온-디바이스 추론은 TensorFlow Lite GPU 백엔드를 사용하여 다양한 플랫폼에서 실시간 성능을 가능하게 한다.
• 파이프라인은 21개의 랜드마크, 손 존재 확률, 및 손잡이 정보를 출력하여 후속 AR/제스처 애플리케이션에 활용 가능하다.