[論文レビュー] Sign Language Recognition Using Temporal Classification

Hardie Cate, Fahim Dalvi+1 more|arXiv (Cornell University)|Jan 7, 2017

Hand Gesture Recognition Systems参考文献 4被引用数 9

ひとこと要約

本稿では、ウェアラブルセンサーによる手の動きデータを用いた時系列分類技術を活用して、95のサインを分類するサイン言語認識システムを提案する。SVM、ロジスティック回帰、および順序パターンマイニング（SPM）を用い、位置と回転の特徴量が最も判別能が高いため、低品質データにおいてもSVMで45%のテスト誤差を達成した。また、SPMと特徴量の連結処理により、精度が1%向上した。

ABSTRACT

Devices like the Myo armband available in the market today enable us to collect data about the position of a user's hands and fingers over time. We can use these technologies for sign language translation since each sign is roughly a combination of gestures across time. In this work, we utilize a dataset collected by a group at the University of South Wales, which contains parameters, such as hand position, hand rotation, and finger bend, for 95 unique signs. For each input stream representing a sign, we predict which sign class this stream falls into. We begin by implementing baseline SVM and logistic regression models, which perform reasonably well on high quality data. Lower quality data requires a more sophisticated approach, so we explore different methods in temporal classification, including long short term memory architectures and sequential pattern mining methods.

研究の動機と目的

• 聴覚障害者とのコミュニケーションの障壁を解消するため、ウェアラブルセンサーを用いたリアルタイムのサイン言語からテキストへの変換を可能にする。
• カメラベースのシステムの限界を克服するため、Myoアームバンドなどのウェアラブルデバイスを用いて、手および指の動きデータを収集する。
• 異なるデータ品質やサインの習得度にわたって一般化可能な、頑健な時系列分類モデルを開発する。
• 時系列センサー・データにおける最も判別能の高い特徴量を特定する。
• 高品質および低品質のデータセット上で、SPM、SVM、ロジスティック回帰などの複数の機械学習手法を評価・比較する。

提案手法

• ウェアラブルグローブから得られる高品質データ（200 Hz、6ビットの指の湾曲、14ビットの親指の位置・姿勢）と低品質データ（50 Hz、2ビットの指の湾曲、8ビットの親指データ）を用いる。
• 異なる発話速度に対応するため、高速フーリエ変換を用いた時系列リサンプリングによる時間スケーリングを実施する。
• 異なる被験者やセッション間での発話の振幅差を補正するため、空間スケーリングを実施する。
• 多変量時系列データから判別能の高い時系列パターンを抽出するために、順序パターンマイニング（SPM）を用い、ウィンドウサイズとパターン長を最適化する。
• SVMの特徴量重要度を評価するためのアブレーションスタディを実施し、位置、回転、指の特徴量を個別に、および組み合わせて除去する。
• SPMで得られた特徴量を、元のフラット化された特徴量と連結することでモデル性能を向上させ、ベースラインSVMに比べて1%の精度向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルデバイスを用いて収集した多変量時系列センサー・データから、時系列分類技術を用いてサイン言語を効果的に認識できるか？
• RQ2 手の位置、回転、指の湾曲といったセンサー特徴量の中で、データ品質の異なる状況下でも、サイン分類に最も判別能が高いのはどれか？
• RQ3 サンプリングレートや精度といったデータ品質が、サイン言語認識における機械学習モデルの性能に与える影響は何か？
• RQ4 伝統的なモデル（SVM やロジスティック回帰）と比較して、順序パターンマイニング（SPM）は分類精度をどの程度向上できるか？
• RQ5 SPMで抽出した特徴量と、元のフラット化された特徴量を組み合わせることで、分類性能に顕著な向上が見られるか？

主な発見

• 右親指の位置と回転の特徴量が最も判別能が高く、SVMのアブレーションスタディでそれらを除去すると、テスト誤差が0.450から0.786に上昇する。
• 位置と回転の特徴量を併せて除去すると、誤差は0.881に急激に上昇し、サインの判別にこれらが極めて重要な役割を果たしていることが示された。
• 指の湾曲特徴量は性能にあまり寄与していない。例えば、F4特徴量を除去しても誤差はわずかに0.458に上昇するにとどまる。
• SPMモデルは、小さなウィンドウサイズと最大のパターン長（10未満）で最適な性能を示し、瞬間的なジェスチャーが、長時間のシーケンスよりも判別能が高いことを示唆している。
• SPMで得た特徴量を、元のフラット化された特徴量と連結することで、小規模なサブセットにおいてベースラインSVMに比べて1%の精度向上が達成された。
• サインクラス数が増えるに従い、最適なSPMウィンドウサイズは減少する傾向にあり、パターンの特異性と一般化性能の間のトレードオフが示された。