[논문 리뷰] TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials

Jinnavat Sanalohit, Tatpong Katanyukul|arXiv (Cornell University)|2022. 01. 10.

Hand Gesture Recognition Systems인용 수 5

한 줄 요약

이 논문은 세 가지 방식인 정적 단일손(S1), 단순화된 동적 단일손(S2), 정적 손가락 지시(P1)에서 태국 손가락 문자(TFS) 인식을 위한 MediaPipe Hands(MPH)를 조사한다. MPH는 추출한 관절점 기반으로 완전히 연결된 인공신경망(ANN)을 사용해 S1 및 S2에서 84.57%의 정확도를 달성하지만, 자가 가림과 손의 방향성 문제로 인해 P1에서는 실패하여 23.66%의 정확도를 기록한다. 반면, 원시 관절점 기반의 맞춤형 분류기는 복잡한 배경에서 69.19%의 정확도를 달성한다.

ABSTRACT

Thai Finger Spelling (TFS) sign recognition could benefit a community of hearing-difficulty people in bridging to a major hearing population. With a relatively large number of alphabets, TFS employs multiple signing schemes. Two schemes of more common signing -- static and dynamic single-hand signing, widely used in other sign languages -- have been addressed in several previous works. To complete the TFS sign recognition, the remaining two of quite distinct signing schemes -- static and dynamic point-on-hand signing -- need to be sufficiently addressed. With the advent of many off-the-shelf hand skeleton prediction models and that training a model to recognize a sign language from scratch is expensive, we explore an approach building upon recently launched MediaPipe Hands (MPH). MPH is a high-precision well-trained model for hand-keypoint detection. We have investigated MPH on three TFS schemes: static-single-hand (S1), simplified dynamic-single-hand (S2) and static-point-on-hand (P1) schemes. Our results show that MPH can satisfactorily address single-hand schemes with accuracy of 84.57% on both S1 and S2. However, our finding reveals a shortcoming of MPH in addressing a point-on-hand scheme, whose accuracy is 23.66% on P1 conferring to 69.19% obtained from conventional classification trained from scratch. This shortcoming has been investigated and attributed to self occlusion and handedness.

연구 동기 및 목표

• 다양한 서밍 방식에서 태국 손가락 문자(TFS) 인식을 위한 MediaPipe Hands(MPH)의 기능 추출 능력을 평가하기 위해.
• 단일손 방식과는 다름없이 독립적이고 미흡하게 연구된 정적 손가락 지시(P1) TFS 방식의 인식 격차를 해소하기 위해.
• 두 손이 동시에 프레임에 존재할 때 자가 가림과 손의 방향성 문제를 다루는 데서 MPH의 한계를 조사하기 위해.
• 손가락 지시(P1) 인식에서 기존의 훈련에서부터 시작하는 모델과 MPH 기반 접근 방식을 비교하기 위해.
• MPH에서 추출한 손 관절점을 기반으로 규칙 기반 및 신경망 기반 방법의 TFS 인식 가능성 탐색하기 위해.

제안 방법

• TFS 인식을 위해 단일 및 이중 손 이미지에서 MediaPipe Hands(MPH)를 사용해 21개의 손 관절점 좌표를 추출한다.
• S1 및 S2 방식에서 MPH에서 추출한 관절점 좌표를 기반으로 완전히 연결된 인공신경망(ANN)을 적용해 TFS 기호를 분류한다.
• 관절점 위치를 기반으로 손가락 벡터 거리와 상대 임계값을 사용하는 규칙 기반 방법을 도입해 손가락 지시(P1) 기호를 탐지한다.
• P1 방식에서 MPH 기반 파이프라인과 성능을 비교하기 위해 원시 관절점 데이터에서부터 별도로 ANN 분류기를 훈련시킨다.
• 자기 가림 수준(0%에서 100%까지)과 다양한 손 자세 조합(예: 앞면/뒷면 시점)을 변화시켜 MPH의 강인성 평가를 수행한다.
• 특히 한 손은 앞면, 다른 손은 뒷면을 향할 경우와 같이 서로 다른 시점을 보일 때 MPH의 손의 방향성 예측 정확도를 분석한다.

실험 결과

연구 질문

• RQ1 MediaPipe Hands(MPH)는 정적 단일손(S1) 및 단순화된 동적 단일손(S2) 방식에서 태국 손가락 문자(TFS) 인식을 위해 효과적으로 기능을 추출할 수 있는가?
• RQ2 S1 및 S2와는 달리, MPH는 왜 정적 손가락 지시(P1) TFS 기호를 인식하지 못하는가?
• RQ3 자기 가림이 TFS 인식에서 MPH의 성능을 얼마나 심각하게 떨어뜨리는가, 특히 손가락 지시 상황에서?
• RQ4 두 손이 서로 다른 시점을 보일 경우(예: 한 손은 앞면, 다른 손은 뒷면), MPH의 손의 방향성 인식 정확도에 어떤 영향을 미치는가?
• RQ5 관절점 데이터에서부터 훈련된 분류기는 P1 TFS 인식에서 MPH 기반 파이프라인을 능가할 수 있는가?

주요 결과

• MPH는 추출한 관절점 기반으로 완전히 연결된 인공신경망(ANN)을 사용해 정적 단일손(S1) 및 단순화된 동적 단일손(S2) TFS 방식에서 각각 84.57%의 정확도를 달성한다.
• MPH는 정적 손가락 지시(P1) 방식에서 성능이 급격히 떨어지며, MPH에서 추출한 관절점 좌표를 사용할 경우 정확도가 단지 23.66%에 그친다.
• 원시 관절점 데이터에서부터 훈련된 분류기는 P1 방식에서 복잡한 배경에서는 69.19%의 정확도, 단순한 배경에서는 77.78%의 정확도를 기록하며, MPH 기반 접근 방식을 능가한다.
• 자기 가림은 P1 인식에서 MPH 실패의 주요 원인으로 규명되었으며, 20%의 가림 수준에서도 성능이 급격히 악화된다.
• 두 손이 동시에 존재하고 서로 다른 시점을 보일 경우 MPH는 손의 방향성 인식에서 어려움을 겪으며, FLBR(앞면 왼손, 뒷면 오른손) 구성에서 정확도가 단지 10.00%에 그친다.
• 단일 손 케이스와 동일한 시점의 이중 손 자세에서는 MPH가 높은 정확도(93.33% 및 86.67%)를 유지하지만, 손의 시점이 상충될 경우 성능이 크게 떨어진다.