[논문 리뷰] THETA: Triangulated Hand-State Estimation for Teleoperation and Automation in Robotic Hand Control

Ming Huang, Akshay Karthik|arXiv (Cornell University)|2026. 01. 12.

Hand Gesture Recognition Systems인용 수 0

한 줄 요약

THETA는 세 대의 동기화된 웹캠과 DeepLabV3/MobileNetV2 파이프라인을 사용하여 다중 시야 RGB 이미지에서 손가락 관절 각도를 추정하고, DexHand 로봇 손의 실시간 저비용 원격 조작을 가능하게 한다.

ABSTRACT

The teleoperation of robotic hands is limited by the high costs of depth cameras and sensor gloves, commonly used to estimate hand relative joint positions (XYZ). We present a novel, cost-effective approach using three webcams for triangulation-based tracking to approximate relative joint angles (theta) of human fingers. We also introduce a modified DexHand, a low-cost robotic hand from TheRobotStudio, to demonstrate THETA's real-time application. Data collection involved 40 distinct hand gestures using three 640x480p webcams arranged at 120-degree intervals, generating over 48,000 RGB images. Joint angles were manually determined by measuring midpoints of the MCP, PIP, and DIP finger joints. Captured RGB frames were processed using a DeepLabV3 segmentation model with a ResNet-50 backbone for multi-scale hand segmentation. The segmented images were then HSV-filtered and fed into THETA's architecture, consisting of a MobileNetV2-based CNN classifier optimized for hierarchical spatial feature extraction and a 9-channel input tensor encoding multi-perspective hand representations. The classification model maps segmented hand views into discrete joint angles, achieving 97.18% accuracy, 98.72% recall, F1 Score of 0.9274, and a precision of 0.8906. In real-time inference, THETA captures simultaneous frames, segments hand regions, filters them, and compiles a 9-channel tensor for classification. Joint-angle predictions are relayed via serial to an Arduino, enabling the DexHand to replicate hand movements. Future research will increase dataset diversity, integrate wrist tracking, and apply computer vision techniques such as OpenAI-Vision. THETA potentially ensures cost-effective, user-friendly teleoperation for medical, linguistic, and manufacturing applications.

연구 동기 및 목표

• 손가락 관절 추적을 위한 깊이 카메라와 센서 글러브의 높은 비용과 접근성 문제를 해결한다.
• 세 대의 웹캠과 삼각측량을 이용한 저비용의 실시간 손 상태 추정 파이프라인을 개발한다.
• 예측된 관절 각도로 DexHand 로봇 손을 제어하여 엔드-투-엔드 원격 조작을 시연한다.

제안 방법

• 120도 간격으로 배치된 세 대의 640x480p 웹캠에서 동기화된 다중 뷰 RGB 데이터를 수집한다.
• 검지, 중지, 링, 새끼손가락의 MCP, PIP, DIP 각도를 실제 값으로 주석 처리하여 40가지 포즈에 걸친 gesture_angles.csv를 생성한다.
• DeepLabV3-ResNet-50 백본으로 손 영역을 분할하고 HSV 필터링으로 손 영역을 분리한다.
• 분할된 뷰를 9채널 다중 뷰 입력으로 처리하여 MobileNetV2 기반 분류기에 10개 각도 클래스에 걸친 15개 관절 각도 빈을 예측한다.
• 온도 스케일드 softmax와 focal loss로 비균형 클래스를 처리하기 위해 출력 보정을 수행하고, Adam과 전이 학습으로 학습한다.
• 예측된 관절 각도를 시리얼로 Arduino에 전송하여 DexHand를 실시간으로 구동한다.

Figure 1: Assembled DexHand (with personal modifications)

실험 결과

연구 질문

• RQ1 저비용 다중 뷰 비전 시스템이 실시간으로 손가락 관절의 고정합 관절 각도 추정을 높은 정확도로 달성할 수 있는가?
• RQ2 분할된 다중 뷰 손 뷰를 원격 조작의 효율성을 유지하면서 이산 관절 각도 빈으로 매핑하는 최적의 아키텍처는 무엇인가?
• RQ3 다양한 조명 조건에서 미지의 제스처에 대해 제안된 THETA 파이프라인의 정확도, 정밀도, 재현율, F1은 어떻게 나타나는가?

주요 결과

• 모델은 본 적 없는 데이터에서 97.18%의 테스트 정확도를 달성한다.
• 정확도는 0.8906, 재현율은 0.9872이고 F1 점수는 0.9274다.
• 학습 정확도는 97.50%, 검증 정확도는 97.03%에 도달했고 손실은 0.0001로 수렴했다.
• 이 파이프라인은 Arduino를 통해 DexHand에서 실시간 관절 각도 추론과 저지연 로봇 구동을 가능하게 한다.
• DexHand는 저비용(약 250달러) 로봇 손으로 THETA 예측을 사용하여 손가락 움직임을 실시간으로 재현할 수 있다.

Figure 2: ROS 2-Arduino Joint Angle Transmission pipeline for robotic hand servos actuation.