[論文レビュー] Using Deep Convolutional Networks for Gesture Recognition in American Sign Language

Vivek Bheda, Dianna Radpour|arXiv (Cornell University)|Oct 18, 2017

Hand Gesture Recognition Systems被引用数 75

ひとこと要約

この論文は、深層畳み込みネットワークを用いて、American Sign Language の文字と数字の画像を分類する方法を提示します。CNNを ASL ジェスチャー認識へ適用することを実証します。

ABSTRACT

In the realm of multimodal communication, sign language is, and continues to be, one of the most understudied areas. In line with recent advances in the field of deep learning, there are far reaching implications and applications that neural networks can have for sign language interpretation. In this paper, we present a method for using deep convolutional networks to classify images of both the the letters and digits in American Sign Language.

研究の動機と目的

• 深層学習を用いた手話解釈の研究を動機付ける。
• ASL ジェスチャーの画像ベース認識のための CNN を探査する。
• CNN を用いて ASL の文字と数字を分類する方法を提示する。

提案手法

• 深層畳み込みネットワークを ASL ジェスチャー画像へ適用する。
• CNN を訓練して画像を ASL の文字と数字へ分類する。
• CNN ベースのジェスチャー認識が手話解釈に与える可能性を論じる。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークは、画像から対応する文字と数字の ASL 手のジェスチャーを正確に分類できますか？
• RQ2 認識能力という観点で、ASL ジェスチャー認識に対するCNNの有効性はどの程度ですか？
• RQ3 従来の方法と比較して、CNN ベースのアプローチは ASL ジェスチャーの解釈に利点を提供しますか？

主な発見

• 著者らは、深層畳み込みネットワークを使用して ASL の文字と数字の画像を分類する方法を提示します。
• 本研究は、CNNが画像データ上のASLジェスチャー認識に適用できることを実証します。
• 本論文は、CNNベースの ASL 解釈の潜在的な影響と応用について論じています。