[論文レビュー] American Sign Language Alphabet Recognition using Deep Learning

Nikhil Kasukurthi, Brij Rokad+2 more|arXiv (Cornell University)|May 14, 2019

Hand Gesture Recognition Systems参考文献 12被引用数 15

ひとこと要約

本論文は、SqueezeNetに基づく軽量ディープラーニングモデルを提案し、1枚のRGB画像からアメリカン・サイン・ランゲージ（ASL）のアルファベット文字を認識するもので、83.29%の精度を達成した。この手法は事前処理を施したRGB画像を用い、モバイルデバイスへのデプロイを最適化しており、高価な3次元深度センサーを必要としない実用的なリアルタイムのサイン言語認識ソリューションを提供する。

ABSTRACT

Tremendous headway has been made in the field of 3D hand pose estimation but the 3D depth cameras are usually inaccessible. We propose a model to recognize American Sign Language alphabet from RGB images. Images for the training were resized and pre-processed before training the Deep Neural Network. The model was trained on a squeezenet architecture to make it capable of running on mobile devices with an accuracy of 83.29%.

研究の動機と目的

• 標準的なRGB画像からのASLアルファベット文字の認識を目的とした軽量ディープラーニングモデルの開発。
• 3次元深度カメラの限界を克服し、実世界でのデプロイに不向きな場合が多いことの是正。
• RGB入力のみを用いてリアルタイムかつモバイル対応のサイン言語認識を実現すること。
• エッジデバイスへのデプロイを考慮し、計算コストを低く保ちながら高い精度を達成すること。
• 補助技術分野における実用的でアクセス可能なサイン言語認識ソリューションの提供。

提案手法

• 著者は、モデルの複雑さを低減し、推論速度を向上させるために事前学習済みのSqueezeNetアーキテクチャを用いた。
• 入力のRGB画像はリサイズされ、寸法を統一し、特徴抽出を強化するための前処理が施された。
• トランスファー学習技術を用いて、独自のASLアルファベット画像データセット上でモデルをファインチューニングした。
• 最終層にソフトマックス分類器を適用し、26種類のASL文字のうち1つを予測した。
• モデル圧縮とパラメータの効率性を活用して、モバイルデプロイに最適化された。
• 訓練は標準的な交差エントロピー損失関数と確率的勾配降下法を用いて実施された。

実験結果

リサーチクエスチョン

• RQ1 RGB画像のみを用いて、軽量ディープラーニングモデルがASLアルファベット文字の認識で高い精度を達成できるか？
• RQ2 このタスクにおいて、SqueezeNetベースのモデルは他のアーキテクチャと比較してどのように性能を示すか？
• RQ3 RGB画像で学習したモデルは、ASL認識において3次元深度センサーの必要性をどの程度代替できるか？
• RQ4 モバイルデプロイにおいて、モデルの精度と計算効率のトレードオフはどのようなものか？
• RQ5 前処理とトランスファー学習は、限られたデータセット上での認識性能を顕著に向上させることができるか？

主な発見

• 提案されたモデルは、RGB画像のみを用いてASLアルファベット認識タスクで83.29%の精度を達成した。
• SqueezeNetベースのアーキテクチャにより、効率的な推論が可能となり、モバイルデバイスへのデプロイに適している。
• 3次元深度データが不要であることが実証され、ハードウェア要件が低減された。
• 入力画像の前処理が、特徴の学習とモデルの汎化性能の向上に寄与した。
• トランスファー学習とファインチューニングの活用により、限られたASLデータセット上でも性能が向上した。
• パラメータ数が少なく、計算効率に優れたため、エッジデバイス上でリアルタイム推論が可能である。