[論文レビュー] Towards the extraction of robust sign embeddings for low resource sign language recognition

Mathieu De Coster, Ellen Rushe+3 more|arXiv (Cornell University)|Jun 30, 2023

Hand Gesture Recognition Systems被引用数 5

ひとこと要約

本稿では、ポーズ正規化、欠損キーポイント補完、および学習可能なポーズ埋め込み（SignPose2Vec）を用いて、低リソースな sign language recognition におけるロバストなキーポイントベースの埋め込みパイプラインを提案する。これにより、異なる sign language 間での有効な転移学習が可能となり、画像ベースのモデルを上回る性能を示す。特に、分類器レイヤーのみをファインチューニングする状況でも優れた性能を発揮し、最小限の精度損失でマルチリンガル学習が可能となる。

ABSTRACT

Isolated Sign Language Recognition (SLR) has mostly been applied on datasets containing signs executed slowly and clearly by a limited group of signers. In real-world scenarios, however, we are met with challenging visual conditions, coarticulated signing, small datasets, and the need for signer independent models. To tackle this difficult problem, we require a robust feature extractor to process the sign language videos. One could expect human pose estimators to be ideal candidates. However, due to a domain mismatch with their training sets and challenging poses in sign language, they lack robustness on sign language data and image-based models often still outperform keypoint-based models. Furthermore, whereas the common practice of transfer learning with image-based models yields even higher accuracy, keypoint-based models are typically trained from scratch on every SLR dataset. These factors limit their usefulness for SLR. From the existing literature, it is also not clear which, if any, pose estimator performs best for SLR. We compare the three most popular pose estimators for SLR: OpenPose, MMPose and MediaPipe. We show that through keypoint normalization, missing keypoint imputation, and learning a pose embedding, we can obtain significantly better results and enable transfer learning. We show that keypoint-based embeddings contain cross-lingual features: they can transfer between sign languages and achieve competitive performance even when fine-tuning only the classifier layer of an SLR model on a target sign language. We furthermore achieve better performance using fine-tuned transferred embeddings than models trained only on the target sign language. The embeddings can also be learned in a multilingual fashion. The application of these embeddings could prove particularly useful for low resource sign languages in the future.

研究の動機と目的

• 変動する発話スタイル、照明条件、発話者間のばらつきがある現実世界の状況において、低リソースな sign language recognition の課題に対処すること。
• 既存のキーポイントベースのモデルが、ポーズ推定エラーと不十分なキーポイント表現のため、しばしば画像ベースのモデルに劣るという限界を克服すること。
• これまで画像ベースのモデルに限られていたキーポイントベースの SLR モデルにおける転移学習を可能にすること。
• 異なる sign language 間で共有されるポーズ埋め込みを用いて、マルチリンガル sign language モデリングを検討すること。
• キーポイントベースのモデルが、特に低リソースな状況において、最小限のファインチューニングで競争力のある性能を達成できることを示すこと。

提案手法

• sign language 動画データに対して、OpenPose、MMPose、MediaPipe の3つの代表的なポーズ推定器を評価し、最もロバストなベースラインを同定する。
• 身体の形状やカメラの視点によるばらつきを低減するため、キーポイント正規化を適用する。
• 信頼性の低い予測に対処するため、時間的・空間的補間を用いた欠損キーポイント補完を実装する。
• 正規化済みかつ補完済みキーポイント系列から、判別的な sign 表現を学習する非線形ポーズ埋め込み層である SignPose2Vec を導入する。
• データセットおよび sign language 間でポーズ埋め込みを訓練・転送し、ゼロショットおよびフェイントショットの転移学習を可能にする。
• 言語条件付き埋め込みを用いたマルチリンガル学習戦略を採用し、複数の sign language 間で一括して表現を学習する。

Figure 1: The class distribution of the entire VGT dataset shows a large class imbalance.

実験結果

リサーチクエスチョン

• RQ1 OpenPose、MMPose、MediaPipe の3つの主要なポーズ推定器の中で、低リソースな状況下における sign language recognition に最もロバストであるのはどれか？
• RQ2 改善された前処理と表現学習により、キーポイントベースのモデルが画像ベースのモデルと同等の性能を達成できるか？
• RQ3 分類器レイヤーのみをファインチューニングする場合でも、キーポイントベースの SLR モデルに転移学習を適用できる範囲はどの程度か？
• RQ4 異なる sign language 間でポーズ埋め込みのクロスリンガル転送が、最小限の性能低下で達成できるか？
• RQ5 共有埋め込みを用いて訓練されたマルチリンガル SLR モデルは、モノリンガルモデルを上回る性能を発揮するか、最適な性能を得るには依然としてファインチューニングが必要か？

主な発見

• MediaPipe は、速度とロバスト性において OpenPose や MMPose を上回るが、約10%のフレームで手のキーポイントを欠落させることがある。
• キーポイント正規化と欠損値補完により、下流の SLR の精度が顕著に向上し、キーポイントベースのモデルが従来の画像ベースのモデルの性能を上回るようになる。
• SignPose2Vec のポーズ埋め込みを用いた転移学習は、ターゲットデータセットで訓練を再開するよりも高い精度を達成する。特に、分類器レイヤーのみをファインチューニングする場合でも同様である。
• ポーズ埋め込みのクロスリンガル転送は、ファインチューニングなしで競争力ある結果を達成でき、最小限の精度低下（例：VGT で1.37%の向上）を示す。
• 言語条件付きマルチリンガルモデルは、ファインチューニングされた場合、モノリンガルモデルを上回り、VGT で+1.37%、NGT で+0.19% の精度向上を達成する一方で、トレーニングの複雑さを低減する。
• 分類器のファインチューニング後にネットワーク全体をファインチューニングすると、最高の性能が得られ、VTN モデルでは VGT で46.78%の精度を達成し、VGT のみで訓練されたモデルの48.15%に近づく。

Figure 2: For cases such as these (the right hand is missing in the second frame but present in the first and third), linear interpolation can impute missing keypoints.