[論文レビュー] Keypoint based Sign Language Translation without Glosses

Youngmin Kim, Minji Kwak+3 more|arXiv (Cornell University)|Apr 22, 2022

Hand Gesture Recognition Systems被引用数 7

ひとこと要約

本稿では、語彙注釈に依存せずに、骨格キーポoinトベクトルのためのカスタム正規化手法と、動的動画長への適応を図る確率的フレーム選択戦略（SASS）を導入することで、中間の語彙（gloss）を経由せずに、キーポイントベースの手話翻訳（SLT）手法を提案する。この手法は、語彙注釈を一切使用しないまま、高解像度および低解像度のSLTデータセットにおいて最先端の性能を達成し、多様なデータセットにわたる頑健性と一般化性能を示している。

ABSTRACT

Sign Language Translation (SLT) is a task that has not been studied relatively much compared to the study of Sign Language Recognition (SLR). However, the SLR is a study that recognizes the unique grammar of sign language, which is different from the spoken language and has a problem that non-disabled people cannot easily interpret. So, we're going to solve the problem of translating directly spoken language in sign language video. To this end, we propose a new keypoint normalization method for performing translation based on the skeleton point of the signer and robustly normalizing these points in sign language translation. It contributed to performance improvement by a customized normalization method depending on the body parts. In addition, we propose a stochastic frame selection method that enables frame augmentation and sampling at the same time. Finally, it is translated into the spoken language through an Attention-based translation model. Our method can be applied to various datasets in a way that can be applied to datasets without glosses. In addition, quantitative experimental evaluation proved the excellence of our method.

研究の動機と目的

• 中間の語彙（gloss）に依存しない直接的な手話からテキストへの翻訳を実現するため、語彙注釈に依存しない手法の開発。
• 身体部位に応じた正規化手法の開発により、キーポイントベースSLTの性能を向上させ、異なる signer のポーズやカメラアングルに対しても特徴の頑健性を高める。
• SLTにおける可変な動画長の課題を解決するため、動的サンプリングと拡張を可能にする確率的フレーム選択手法を導入。
• 特に語彙注釈のないデータセットに対しても適用可能な汎用的な動画処理パイプラインの構築。
• 実世界の手話データセットを用いた包括的な除去実験および定性的な評価を通じて、提案手法の有効性を示すこと。

提案手法

• 身体部位（例：手、顔、胴体）に応じて異なる正規化戦略を適用するカスタムキーポイント正規化手法を提案。これにより、多様な signer のポーズやカメラビュー下でも特徴の整合性が向上する。
• 確率的サンプリングを用いて重要なフレームを優先しつつ、動画長に応じて入力シーケンス長を動的に調整する、Stochastic Augmentation and Skip Sampling（SASS）と呼ばれるフレーム選択手法を導入。
• 序列変換のためのGRUベースのエンコーダ・デコーダアーキテクチャにBahdanauアテンションを適用。入力として正規化済みキーポイントシーケンスを処理する。
• キーポイント間の距離を用いたフレームレベルの正規化を適用し、空間的ばらつきを低減。これにより、解像度や signer の位置が異なるデータセット間でのモデル一般化性能が向上する。
• 正規化およびフレーム選択後に固定長のキーポイント表現を生成。これにより、標準的なニューラル機械翻訳（NMT）モデルとの互換性が確保される。
• 語彙注釈のないデータセットにも適用可能なエンドツーエンドで学習可能なパイプラインを設計。実用的で現実世界のシナリオに即した応用性を高める。

実験結果

リサーチクエスチョン

• RQ1 キーポイントベースSLTシステムは、中間の語彙注釈に依存せずに高い性能を達成できるか？
• RQ2 身体部位に特化した正規化は、手話動画処理におけるキーポイント表現の頑健性をどのように向上させるか？
• RQ3 確率的フレーム選択戦略は、長さが異なる動画間で情報保持と計算効率のバランスを効果的にとれるか？
• RQ4 提案手法は、固定長入力が不要な状態で、解像度や動画長が異なるデータセットに一般化可能か？
• RQ5 カスタム正規化とSASSの組み合わせは、標準正規化と固定サンプリングに比べて翻訳品質で優れているか？

主な発見

• 提案されたカスタム正規化手法は、標準正規化に比べて翻訳性能を顕著に向上させ、特にポーズや視点の変化に対する耐性が向上している。
• SASS手法は、固定サンプリングおよび確率的拡張のみの手法を上回り、すべてのデータセットで最良の全体的な翻訳性能を達成している。
• RWTH-PHOENIX-Weather-2014 Tデータセットでは、短～中程度の文に対して正確な翻訳を生成しているが、長文では後半に若干の劣化が見られる。
• KETIデータセットでは、長文の翻訳が非常に正確であり、大多数のケースで真値とほぼ完全に一致している。
• 除去実験の結果、カスタム正規化とSASSの両方が独立してかつ相乗的に性能向上に寄与しており、完全な手法がすべてのベースラインを上回っている。
• 本手法は、高解像度（KETI）および低解像度（PHOENIX）のベンチマークにおいて、データセット固有のチューニングなしに優れた一般化性能を示している。