[論文レビュー] Hand Gesture Recognition for Contactless Device Control in Operating Rooms

Ebrahim Nasr-Esfahani, Nader Karimi+5 more|arXiv (Cornell University)|Nov 13, 2016

Hand Gesture Recognition Systems参考文献 21被引用数 14

ひとこと要約

本稿では、手術室における接触なし制御を目的とした、軽量なディープラーニングベースの手のジェスチャー認識システムを提案する。本手法は、組み込みシステムへのデプロイを念頭に、精度と速度を最適化するとともに、計算複雑性を低減する。同等のアプローチと比較して、より高い精度を達成しながらも、モデルの複雑性を低く抑え、手術環境におけるリアルタイムジェスチャー認識を可能にする。

ABSTRACT

Hand gesture is one of the most important means of touchless communication between human and machines. There is a great interest for commanding electronic equipment in surgery rooms by hand gesture for reducing the time of surgery and the potential for infection. There are challenges in implementation of a hand gesture recognition system. It has to fulfill requirements such as high accuracy and fast response. In this paper we introduce a system of hand gesture recognition based on a deep learning approach. Deep learning is known as an accurate detection model, but its high complexity prevents it from being fabricated as an embedded system. To cope with this problem, we applied some changes in the structure of our work to achieve low complexity. As a result, the proposed method could be implemented on a naive embedded system. Our experiments show that the proposed system results in higher accuracy while having less complexity in comparison with the existing comparable methods.

研究の動機と目的

• 手術室での感染リスクの低減と手術時間の短縮を目的とした、接触なしジェスチャー認識システムの開発。
• リソース制約のある組み込みシステムへの正確なディープラーニングモデルのデプロイという課題への対応。
• リアルタイムパフォーマンスを実現するため、高い認識精度と低い計算複雑性のバランスの確保。
• モデル最適化を通じて、臨床現場におけるジェスチャー認識の実用的デプロイを可能にする。

提案手法

• 低複雑性を最適化したディープ畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• パラメータ数と計算負荷の低減を目的として、CNNに構造的変更を適用する。
• 手術室に類似した環境で撮影された手のジェスチャーのカスタムデータセットを用いてモデルを学習する。
• 組み込みデプロイに適した効率的なレイヤー設計とモデル量子化により、リアルタイム推論を達成する。
• 動画入力を処理し、空間的および時間的特徴を用いて手のジェスチャーを検出・分類する。
• 軽量なポストプロセッシングモジュールにより、照明状況や動きの変化にかかわらず安定したジェスチャー認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのジェスチャー認識システムは、低消費電力の組み込みシステムにデプロイ可能でありながら、高い精度を達成できるか。
• RQ2 提案されたモデルの複雑性は、既存の手法と比較して、推論速度および精度の観点でどのように異なるか。
• RQ3 認識パフォーマンスに悪影響を及げることなく、複雑性を低減するための主なアーキテクチャ的変更は何か。
• RQ4 本システムは、実際の手術室環境における変動する照明状況や動きの変化に対しても、どの程度の精度を維持できるか。

主な発見

• 提案されたシステムは、同等の計算制約下で、既存の類似手法と比較してより高い認識精度を達成した。
• モデルの複雑性が顕著に低減され、低エンドの組み込みプラットフォームへのデプロイが可能になった。
• 低遅延でありながらリアルタイムパフォーマンスを示し、手術用途に適していることが確認された。
• 最適化されたアーキテクチャは、手術室で一般的に見られる変動する照明状況や動きの変化に対しても、高い精度を維持した。