[論文レビュー] Driver Hand Localization and Grasp Analysis: A Vision-based Real-time Approach

Siddharth, Akshay Rangesh+2 more|arXiv (Cornell University)|Feb 22, 2018

Hand Gesture Recognition Systems被引用数 13

ひとこと要約

本稿では、2段階のパイプラインを用いて、リアルタイムで視覚ベースのドライバーの手の位置特定とグリップ状態分析を実現するシステムを提案する。まず、高速なConvNetが候補となる手領域を検出する。次に、グローバルな照明変化に配慮した皮膚分類器を用いて、検出結果を精細なピクセル単位の手マスクに改善する。本手法は35 fpsの推論速度を達成し、照明変動や隠蔽がある困難な自然主義的ドライブ環境において、ステアリングホイル、スマートフォン、またはグリップなしのグリップ状態を正確に分類する点で、最先端の手検出器を上回る性能を発揮する。

ABSTRACT

Extracting hand regions and their grasp information from images robustly in real-time is critical for occupants' safety and in-vehicular infotainment applications. It must however, be noted that naturalistic driving scenes suffer from rapidly changing illumination and occlusion. This is aggravated by the fact that hands are highly deformable objects, and change in appearance frequently. This work addresses the task of accurately localizing driver hands and classifying the grasp state of each hand. We use a fast ConvNet to first detect likely hand regions. Next, a pixel-based skin classifier that takes into account the global illumination changes is used to refine the hand detections and remove false positives. This step generates a pixel-level mask for each hand. Finally, we study each such masked regions and detect if the driver is grasping the wheel, or in some cases a mobile phone. Through evaluation we demonstrate that our method can outperform state-of-the-art pixel based hand detectors, while running faster (at 35 fps) than other deep ConvNet based frameworks even for grasp analysis. Hand mask cues are shown to be crucial when analyzing a set of driver hand gestures (wheel/mobile phone grasp and no-grasp) in naturalistic driving settings. The proposed detection and localization pipeline hence can act as a general framework for real-time hand detection and gesture classification.

研究の動機と目的

• 変動する照明条件や隠蔽がある状況下でも、リアルタイムでドライバーの手を頑健に検出する課題に対処すること。
• 手が変形しやすく、外見が頻繁に変化する自然主義的ドライブシーンにおいて、従来の手検出器に見られる限界を克服すること。
• 手の位置特定に加え、グリップ状態（例：ステアリングホイル、スマートフォン）の分類を可能にするフレームワークを構築し、安全やインフォテインメント用途に応用すること。
• 深層学習ベースの手提案と照合して、照明に頑健な皮膚分類を統合することで、検出精度を向上させること。
• 車内での人間-コンピュータインタラクションに応用可能な、一般化可能なリアルタイムの手検出およびジェスチャー分類パイプラインを構築すること。

提案手法

• リアルタイムの動画フレームにおいて、手を含む可能性の高い領域を素早く特定するため、軽量なConvNetを用いる。
• グローバルな照明変化を考慮したピクセル単位の皮膚分類器を適用し、手の検出を精緻化して誤検出を低減する。
• 深層特徴と照明に頑健な皮膚セグメンテーションを組み合わせることで、正確なピクセル単位の手マスクを生成する。
• 各セグメンテーション済みの手マスクを分析し、ステアリングホイルやスマートフォンをグリップしている状態を含むグリップ状態を分類する。
• 検出と分類のパイプラインを統合し、リアルタイム性能を最適化したエンドツーエンドのフレームワークを構築する。
• 複雑なドライブ状況下で、異なるドライバーの手のジェスチャーを区別するための重要な特徴として、手マスクの情報を活用する。

実験結果

リサーチクエスチョン

• RQ1 動的照明や隠蔽がある自然主義的ドライブ環境において、視覚ベースのシステムがリアルタイムでの手の位置特定を達成できるか？
• RQ2 照明に配慮した皮膚分類器は、照明条件の変化に伴っても、手検出精度をどの程度向上できるか？
• RQ3 ボックスベースのアプローチと比較して、手マスク表現はどの程度グリップ状態分類の精度を向上させるか？
• RQ4 2段階の深層学習パイプラインは、高い推論速度を維持しながらも、最先端の手検出器を上回ることができるか？
• RQ5 本システムは、実世界のドライブ状況において、さまざまなグリップ状態（例：ステアリングホイルグリップ、スマートフォングリップ、グリップなし）にどの程度一般化できるか？

主な発見

• 提案手法は35フレーム毎秒（fps）を達成し、他の深層ConvNetベースのフレームワークよりも推論速度が優れている。
• 照明に配慮した皮膚分類器は、特に急速な照明変化下でも、誤検出を顕著に低減する。
• ピクセル単位の手マスクは、ボックスベースの検出のみに比べて、グリップ分類の精度を向上させる。
• 困難なドライブ環境において、本システムは最先端のピクセルベースの手検出器を上回る優れた性能を示す。
• 手マスクの情報は、実世界のドライブ状況下で、ステアリングホイルグリップとスマートフォングリップといった微妙なグリップ状態を区別する上で不可欠である。
• 深層特徴と照明に頑健な皮膚モデリングの組み合わせにより、隠蔽や外見の変化に対しても本フレームワークは頑健である。