[論文レビュー] TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition: Investigating MediaPipe Hands Potentials

Jinnavat Sanalohit, Tatpong Katanyukul|arXiv (Cornell University)|Jan 10, 2022

Hand Gesture Recognition Systems被引用数 5

ひとこと要約

本稿は、3つの方式（静的片手型：S1、簡略化された動的片手型：S2、静的手の上指し示し型：P1）におけるタイ手指語（TFS）認識のためのMediaPipe Hands（MPH）を調査している。MPHは抽出されたキーポイントを用いた全結合型人工ニューラルネットワーク（ANN）により、S1およびS2で84.57%の精度を達成するが、自己遮蔽および利き手の問題によりP1では失敗し、23.66%の精度にとどまる。一方、生のキーポイントを用いたカスタム分類器は、複雑な背景でも69.19%の精度を達成した。

ABSTRACT

Thai Finger Spelling (TFS) sign recognition could benefit a community of hearing-difficulty people in bridging to a major hearing population. With a relatively large number of alphabets, TFS employs multiple signing schemes. Two schemes of more common signing -- static and dynamic single-hand signing, widely used in other sign languages -- have been addressed in several previous works. To complete the TFS sign recognition, the remaining two of quite distinct signing schemes -- static and dynamic point-on-hand signing -- need to be sufficiently addressed. With the advent of many off-the-shelf hand skeleton prediction models and that training a model to recognize a sign language from scratch is expensive, we explore an approach building upon recently launched MediaPipe Hands (MPH). MPH is a high-precision well-trained model for hand-keypoint detection. We have investigated MPH on three TFS schemes: static-single-hand (S1), simplified dynamic-single-hand (S2) and static-point-on-hand (P1) schemes. Our results show that MPH can satisfactorily address single-hand schemes with accuracy of 84.57% on both S1 and S2. However, our finding reveals a shortcoming of MPH in addressing a point-on-hand scheme, whose accuracy is 23.66% on P1 conferring to 69.19% obtained from conventional classification trained from scratch. This shortcoming has been investigated and attributed to self occlusion and handedness.

研究の動機と目的

• タイ手指語（TFS）認識におけるMediaPipe Hands（MPH）を特徴抽出器として用いることの有効性を、複数のサイン方式において評価すること。
• 片手方式とは異なり特徴的でかつ未だ十分に調査が進んでいない静的手の上指し示し方式（P1）の認識ギャップを埋めること。
• 両手がフレーム内に存在する場合の自己遮蔽および利き手の問題が、MPHの性能に与える制限を調査すること。
• 手の上指し示し方式の認識において、MPHベースのアプローチと従来のスクラッチから訓練したモデルを比較すること。
• MPHから抽出した手のキーポイントを用いたルールベースおよびニューラルネットワークベースの手法のTFS認識における実現可能性を検討すること。

提案手法

• TFS認識のため、単一および二重の手の画像からMediaPipe Hands（MPH）を用いて21個の手のキーポイント座標を抽出する。
• S1およびS2方式において、MPHから抽出したキーポイント座標を用いて全結合型人工ニューラルネットワーク（ANN）を適用し、TFSサインを分類する。
• キーポイントの位置に基づき、指のベクトル距離と相対的しきい値を用いたルールベース手法を採用し、手の上指し示し（P1）サインを検出する。
• P1方式における性能をMPHベースのパイプラインと比較するために、生のキーポイントデータからスクラッチで分類器を訓練する。
• 自己遮蔽の度合い（0%〜100%）や異なる手のポーズ（例：正面・背面）の組み合わせを変化させながら、MPHのロバストネスを評価する。
• 特に片手が正面、片手が背面といった異なる視点を持つ場合に、MPHの利き手認識の正確性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 MediaPipe Hands（MPH）は、静的片手型（S1）および簡略化された動的片手型（S2）方式において、タイ手指語（TFS）認識のための特徴を効果的に抽出できるか？
• RQ2 S1およびS2方式で高い精度を示すにもかかわらず、なぜMPHは静的手の上指し示し型（P1）TFSサインを認識できないのか？
• RQ3 自己遮蔽は、特に手の上指し示し状況において、MPHのTFS認識性能にどの程度悪影響を及えるか？
• RQ4 両手が存在し、それぞれ異なる視点（例：片方が正面、片方が背面）を示す場合、MPHの利き手認識精度にどのような影響を与えるか？
• RQ5 キーポイントデータからスクラッチで訓練した分類器は、P1 TFS認識においてMPHベースのパイプラインを上回る性能を示せるか？

主な発見

• MPHは、抽出されたキーポイントを用いた全結合型人工ニューラルネットワーク（ANN）により、静的片手型（S1）および簡略化された動的片手型（S2）TFS方式で84.57%の精度を達成した。
• MPHの性能は、静的手の上指し示し型（P1）方式では著しく低下し、MPHから抽出したキーポイントを用いた場合、わずか23.66%の精度にとどまった。
• 生のキーポイントデータからスクラッチで訓練した分類器は、複雑な背景では69.19%、シンプルな背景では77.78%の精度を達成し、MPHベースのアプローチを上回った。
• 自己遮蔽は、P1認識におけるMPHの失敗の主な要因であると特定され、20%の遮蔽率でも性能が急激に低下した。
• 両手が存在し、一方が正面、他方が背面といった異なる視点を持つ場合、MPHは利き手認識に失敗し、FLBR（前面左、背面右）構成ではたった10.00%の精度にとどまった。
• 単一の手のケースや同じ視点を持つ二重手ポーズでは、MPHは高い精度（93.33%および86.67%）を維持したが、手の視点が矛盾する場合には性能が著しく低下した。