[論文レビュー] GestARLite: An On-Device Pointing Finger Based Gestural Interface for Smartphones and Video See-Through Head-Mounts

Varun Jain, Gaurav Garg+2 more|arXiv (Cornell University)|Apr 19, 2019

Hand Gesture Recognition Systems参考文献 30被引用数 5

ひとこと要約

GestARLite は、スマートフォンおよびビデオ・シー・スルーヘッドマウントディスプレイ向けの軽量でオンデバイスのジェスチャーインターフェースであり、RGB動画と深層学習モデルの段階的処理（MobileNetV2 を用いた手検出、独自の指先座標回帰モデル、Bi-LSTM を用いたジェスチャー分類）を採用。Snapdragon 845 スマartフォンで平均 0.12 秒の遅延で 80% の精度を達成し、深度センサーやインターネット接続に依存せずにリアルタイムでオフラインでの操作が可能である。

ABSTRACT

Hand gestures form an intuitive means of interaction in Mixed Reality (MR) applications. However, accurate gesture recognition can be achieved only through state-of-the-art deep learning models or with the use of expensive sensors. Despite the robustness of these deep learning models, they are generally computationally expensive and obtaining real-time performance on-device is still a challenge. To this end, we propose a novel lightweight hand gesture recognition framework that works in First Person View for wearable devices. The models are trained on a GPU machine and ported on an Android smartphone for its use with frugal wearable devices such as the Google Cardboard and VR Box. The proposed hand gesture recognition framework is driven by a cascade of state-of-the-art deep learning models: MobileNetV2 for hand localisation, our custom fingertip regression architecture followed by a Bi-LSTM model for gesture classification. We extensively evaluate the framework on our EgoGestAR dataset. The overall framework works in real-time on mobile devices and achieves a classification accuracy of 80% on EgoGestAR video dataset with an average latency of only 0.12 s.

研究の動機と目的

• Google Cardboard のような低コストのビデオ・シー・スルーヘッドマウントディスプレイ（HMD）向けに、リアルタイムでオンデバイスの手のジェスチャー認識を可能にすること。
• 高価なデバイスや深度センサを必要とする従来の深層学習モデルの計算およびハードウェア的制限を克服すること。
• インターネット接続に依存せず、マーカーレスで RGB 僅どのジェスチャーインターフェースを実現し、遠隔地やオフライン環境でも利用可能にすること。
• データ可視化、テレプレゼンス、産業用点検などのミックスドリアリティ（MR）アプリケーション向けにスケーラブルで拡張可能なフレームワークを構築すること。
• 一般消費者向けモバイルハードウェアに、軽量で正確かつ効率的なジェスチャー認識パイプラインをデプロイ可能であることを実証すること。

提案手法

• フレームワークは、最初の視点（FPV）動画ストリームにおける手の局所化に、軽量なオブジェクト検出器として MobileNetV2 を使用する。
• 手の領域をクロップ・リサイズした上で、独自の深層ニューラルネットワークを訓練し、指先の2次元座標を回帰することで、局所化の精度を向上させる。
• 連続するフレームにおける指先位置を処理する Bi-LSTM ネットワークが、動的ポイントイングジェスチャーを分類し、時間的動きのパターンを捉える。
• パイプライン全体は TensorFlow Lite を用いて最適化・デプロイされ、リモートサーバーへの依存なしにモバイルデバイス上でリアルタイム推論が可能になる。
• システムは、10種類の異なるポイントイングジェスチャーを含む、全 240 本のエゴセントリック動画シーケンスからなる EgoGestAR データセットで学習されている。
• モデルの量子化とモデル圧縮技術が適用され、合計モデルサイズが 16.3 MB にまで削減され、オンデバイスでのデプロイが可能になった。

実験結果

リサーチクエスチョン

• RQ1 軽量でオンデバイスのジェスチャー認識システムは、深度センサーや外部ハードウェアを必要とせず、一般消費者向けスマートフォンでリアルタイム性能を達成できるか？
• RQ2 手検出、指先回帰、時間的分類を分離したモジュラーなパイプラインは、エゴセントリック動画におけるジェスチャー認識において、エンドツーエンドの深層学習モデルに比べてどれほど効果的か？
• RQ3 Google Cardboard に搭載されたスマートフォンのような低リソースデバイスにデプロイした場合、提案フレームワークは精度と低遅延をどの程度維持できるか？
• RQ4 動的背景、手の色の違い、ネイルポリッシュや軽度の怪我（切り傷など）といった条件下でも、システムの性能はどの程度保たれるか？
• RQ5 このフレームワークは、ミックスドリアリティアプリケーションでより広範なジェスチャーのセットをサポートするために拡張可能か？

主な発見

• GestARLite フレームワークは、RGB 入力のみで深度情報を使わず、EgoGestAR データセットで 80.00% のジェスチャー分類精度を達成した。
• Snapdragon 845 搭載スマートフォンで平均 0.12 秒の遅延でリアルタイム動作を実現し、応答性の高いユーザーインタラクションを可能にした。
• MobileNetV2 デテクタは 640×480 解像度で 9 FPS で動作し、指先回帰器は 99×99 解像度で最大 166 FPS を達成し、効率的な処理を実現した。
• 全モデルのメモリフットプリントはわずか 16.3 MB にまで小さく抑えられ、リソース制限のあるモバイルおよびウェアラブルデバイスへのデプロイに適している。
• 手の色、サイズ、軽度のオクルージョン（ネイルポリッシュや軽度の怪我）の変動に対しても、指先回帰器が一貫して指先領域を正しく局所化するため、フレームワークは頑健である。
• モジュラー設計は、エンドツーエンドモデル（Tsironi et al.：32.27%、VGG16+LSTM：58.18%、C3D：66.36%）を上回る精度と遅延性能を示し、タスク固有の部品設計の優位性を実証した。