[論文レビュー] Real-time Sign Language Fingerspelling Recognition using Convolutional Neural Networks from Depth map

Byeongkeun Kang, Subarna Tripathi+1 more|arXiv (Cornell University)|Sep 10, 2015

Hand Gesture Recognition Systems参考文献 10被引用数 23

ひとこと要約

本論文では、深度マップでトレーニングされた畳み込みニューラルネットワーク（CNN）を用いて、高精度かつ高速なリアルタイムの手話指文字認識システムを提案している。このシステムは31種類のアルファベットと数字を認識し、トレーニングに使った被験者に対して99.99%の精度を達成し、未見の被験者に対しては83.58–85.49%の精度を示した。1枚の画像をたったの3 msで処理でき、深度データのみを用いたこのタスクにおいて、報告されている最高精度かつ最速のシステムである。

ABSTRACT

Sign language recognition is important for natural and convenient communication between deaf community and hearing majority. We take the highly efficient initial step of automatic fingerspelling recognition system using convolutional neural networks (CNNs) from depth maps. In this work, we consider relatively larger number of classes compared with the previous literature. We train CNNs for the classification of 31 alphabets and numbers using a subset of collected depth data from multiple subjects. While using different learning configurations, such as hyper-parameter selection with and without validation, we achieve 99.99% accuracy for observed signers and 83.58% to 85.49% accuracy for new signers. The result shows that accuracy improves as we include more data from different subjects during training. The processing time is 3 ms for the prediction of a single image. To the best of our knowledge, the system achieves the highest accuracy and speed. The trained model and dataset is available on our repository.

研究の動機と目的

• 聴覚障害者と聴覚のある人々の間のコミュニケーションを向上させるために、アメリカン・サイン・ランゲージ（ASL）のリアルタイムで高精度な自動指文字認識システムを開発すること。
• 特に親指の位置の違いでの視認性の類似性に起因する課題を、深度データを用いることで強化された耐性をもって解決すること。
• 従来の24種類ではなく、26文字と10桁の合計31種類のクラスを分類することで、先行研究を拡張し、実用的価値を向上させること。
• 複数の被験者でトレーニングを行い、未見の被験者でテストすることで、モデルの一般化性能を評価すること。
• 色の画像やキャリブレーションに依存しないように、深度マップのみを用いることで、明るさや肌色の変動に強い一貫性を向上させること。

提案手法

• 複数名の被験者から得た深度マップを用いて、31種類の静的指文字ジェスチャー（A–Z、0–9）を分類する深層CNNをトレーニングする。
• ImageNet（ILSVRC2012）で事前学習し、その後、深度ベースの指文字データセットで微調整することで、転移学習を活用する。
• 一般化性能を確保するため、被験者単位での分離（トレーニング、検証、テスト）を伴うデータオーグメンテーションと交差検証を実施する。
• 再トレーニングと微調整の両方の戦略を採用し、異なるトレーニング設定における性能向上を比較する。
• バリデーションを用いる・しない両方の設定でハイパーパramータを最適化し、モデルの一般化と精度に与える影響を評価する。
• 1フレームごとの推論パイプラインを採用し、軽量なCNNアーキテクチャを用いることで、GPU上で1枚あたり3 msのリアルタイム性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 深度マップに限定してトレーニングされたCNNベースのシステムは、31種類の静的ASL指文字ジェスチャーを高精度に認識できるか？
• RQ2 トレーニングデータに含まれない被験者に対してテストした場合、モデルの性能はどのように変化するのか。一般化を向上させる要因は何か？
• RQ3 ImageNetで事前学習したモデルからの微調整は、再トレーニングと比較して、深度ベースの指文字認識性能を向上させるか？
• RQ4 トレーニングに使用する被験者の数を増やすことで、未見の被験者に対する認識精度はどのように向上するか？
• RQ5 深度データのみを入力とすることで、色のキャリブレーションの必要性が排除され、明るさや肌色の変動に対する耐性が向上するか？

主な発見

• 同じ被験者でトレーニング・テストした場合、99.99%の精度を達成し、トレーニング分布上での優れた性能を示した。
• 未見の被験者に対しては、微調整を用いることで83.58%から85.49%の精度を達成し、再トレーニングに比べて7–8%の向上を示した。
• 被騟能者数を3人から4人に増やしたことで、精度が2–3%向上した。これは、より多様なデータで学習することで一般化性能が向上することを示している。
• Nvidia GeForce GTX Titan上で、1枚の深度画像をたったの3 msで処理でき、リアルタイム推論を実現した。
• 特に31種類のクラスを扱い、未見の被験者への一般化性能に優れる点で、先行研究の最先端手法を上回った。
• 最も精度が低かった文字（E, M, N, T）は、親指の位置のわずかな違いに起因する視認性の曖昧さが一貫して問題となっており、データセット内に持続的な視覚的曖昧性が存在することが確認された。