[論文レビュー] IPN Hand: A Video Dataset and Benchmark for Real-Time Continuous Hand Gesture Recognition

Gibran Benítez-García, Jesús Olivares-Mercado+2 more|arXiv (Cornell University)|Apr 20, 2020

Hand Gesture Recognition Systems参考文献 29被引用数 13

ひとこと要約

本論文では、50名の被験者から収集された4,000件以上のジェスチャー・サンプルと80万フレームのRGBフレームを含む大規模で現実世界の動画データセット、IPN Handを紹介する。このデータセットは、リアルタイム連続ハンドジェスチャー認識（HGR）のベンチマークを目的として設計されている。RGB、オプティカルフロー、セマンティックセグメンテーションのモダリティを用いた3D-CNNモデルの評価を通じて、RGB+セマンティックセグメンテーションの組み合わせがRGB単体に比べて認識精度を最大10%向上させつつリアルタイム推論を維持できることを示しており、自然で挑戦的なHGRシナリオにおける堅牢なベンチマークであることが明らかになった。

ABSTRACT

In this paper, we introduce a new benchmark dataset named IPN Hand with sufficient size, variety, and real-world elements able to train and evaluate deep neural networks. This dataset contains more than 4,000 gesture samples and 800,000 RGB frames from 50 distinct subjects. We design 13 different static and dynamic gestures focused on interaction with touchless screens. We especially consider the scenario when continuous gestures are performed without transition states, and when subjects perform natural movements with their hands as non-gesture actions. Gestures were collected from about 30 diverse scenes, with real-world variation in background and illumination. With our dataset, the performance of three 3D-CNN models is evaluated on the tasks of isolated and continuous real-time HGR. Furthermore, we analyze the possibility of increasing the recognition accuracy by adding multiple modalities derived from RGB frames, i.e., optical flow and semantic segmentation, while keeping the real-time performance of the 3D-CNN model. Our empirical study also provides a comparison with the publicly available nvGesture (NVIDIA) dataset. The experimental results show that the state-of-the-art ResNext-101 model decreases about 30% accuracy when using our real-world dataset, demonstrating that the IPN Hand dataset can be used as a benchmark, and may help the community to step forward in the continuous HGR. Our dataset and pre-trained models used in the evaluation are publicly available at https://github.com/GibranBenitez/IPN-hand.

研究の動機と目的

• 連続ジェスチャーに移行状態がないことや自然なハンドモーショングの存在といった、現実世界の課題をリアルistically再現する公開データセットの不足に対処する。
• 照明、背景、シーンの複雑さの変動を含む現実世界のばらつきを持つ大規模で多様なデータセットを構築し、HGRのためのディーブラーニングモデルの訓練と評価をより良く行う。
• リアルタイムHGRにおける伝統的なRGB+オプティカルフローまたはRGB+深度と比較して、RGBにセマンティックセグメンテーションを組み合わせたマルチモーダル融合の有効性を評価する。
• クラス内可変性や中立状態のない連続ジェスチャー入力といった現実世界の性能を反映するベンチマークを確立する。

提案手法

• IPN Handデータセットは、50名の被験者が約30の現実世界のシーンで13種類の静的および動的ジェスチャーを実行した結果を収集したものである。
• データセットには移行状態のない連続ジェスチャー・シーケンスと、ジェスチャーでない自然なハンドモーションが含まれており、タッチレスインタラクションの現実的なシナリオを再現している。
• RGB、オプティカルフロー、セマンティックセグメンテーションのモダリティを用いて、孤立したおよび連続的なHGRタスクにおける、最新の3D-CNNモデル（ResNet-50、ResNeXt-101、ResLight-10）を訓練および評価した。
• 軽量な検出器（ResLight-10）によるジェスチャー／非ジェスチャー分類の後に、ジェスチャークラス予測のための分類器（ResNet-50 や ResNeXt-101）を用いた階層的2段階アプローチを採用した。
• オプティカルフローまたは深度に代えて、RGBとセマンティックセグメンテーションのデータレベル融合を検討し、リアルタイム性能を損なわずに精度を向上させることを目的とした。
• 連続ジェスチャー認識におけるシーケンスレベルの精度を測定するためにレーベンシュタイン距離が用いられ、検出器の性能はバイナリ分類精度と混同行列によって評価された。

実験結果

リサーチクエスチョン

• RQ1 連続ジェスチャーと自然なハンドモーションを含む大規模で現実世界のデータセットは、連続HGRにおけるディーブラーニングモデルのロバスト性を向上させることができるか？
• RQ2 オプティカルフローまたは深度と比較して、セマンティックセグメンテーションをモダリティとして組み込むことで、リアルタイムHGRにおける認識精度はどのように向上するか？
• RQ3 ジェスチャーの持続時間のクラス内可変性や現実世界のシーンの変動は、3D-CNNモデルの連続HGRにおける性能にどの程度影響を与えるか？
• RQ4 提案されたIPN Handデータセットは、リアルタイム連続HGRシステムの評価と発展に信頼できるベンチマークとして機能できるか？

主な発見

• ResNeXt-101のような最先端モデルの精度は、シンプルなベンチマークに比べてIPN Handデータセットでは約30%低下し、その現実性と挑戦性が示された。
• セマンティックセグメンテーションをモダリティとして追加することで、RGB単体に比べてレーベンシュタイン精度が最大10%向上した。ResNeXt-101モデルでは、RGB+segで39.01%の精度を達成したのに対し、RGB単体では25.34%であった。
• RGB+セマンティックセグメンテーションの融合は、RGB+オプティカルフロー（42.47%）と同等以上の精度を達成したが、推論時間は39.9 ms（RGB+オプティカルフローの53.7 ms）と短く、リアルタイムシステムに適していることが示された。
• ResLight-10検出器は、RGB+フローで82.43%、RGB+セグで80.06%の精度を示し、RGB単体のベースライン（75.4%）を大きく上回った。特に非ジェスチャー・フレームの検出において顕著な向上が見られた。
• 混同行列の分析から、RGB単体のモデルは85%の非ジェスチャー・フレームを誤分類していたが、マルチモーダルモデルはその誤差を顕著に低減した。
• ResNet-50とRGB+セグを組み合わせた階層的2段階アプローチでは、合計推論時間が29.2 msで、レーベンシュタイン精度が33.27%に達し、精度と速度の良好なバランスを実現した。