[論文レビュー] Fingertip in the Eye: A cascaded CNN pipeline for the real-time fingertip detection in egocentric videos

Xiaorui Liu, Yichao Huang+2 more|arXiv (Cornell University)|Nov 7, 2015

Hand Gesture Recognition Systems参考文献 7被引用数 13

ひとこと要約

本論文は、注意機構を用いたハンド検出器とマルチポイントのフィンガートゥップ検出器を段階的に組み合わせた、エゴセントリック動画におけるリアルタイムのフィンガートゥップ検出のための段階的CNNパイプラインを提案する。本手法は、新たに作成された大規模データセットEgo-Fingertip上で高い精度とリアルタイム性能を達成し、複雑な背景や多様なハンド形状を含む困難な条件下でも、先行手法を上回る性能を発揮する。

ABSTRACT

We introduce a new pipeline for hand localization and fingertip detection. For RGB images captured from an egocentric vision mobile camera, hand and fingertip detection remains a challenging problem due to factors like background complexity and hand shape variety. To address these issues accurately and robustly, we build a large scale dataset named Ego-Fingertip and propose a bi-level cascaded pipeline of convolutional neural networks, namely, Attention-based Hand Detector as well as Multi-point Fingertip Detector. The proposed method significantly tackles challenges and achieves satisfactorily accurate prediction and real-time performance compared to previous hand and fingertip detection methods.

研究の動機と目的

• 複雑な背景や多様なハンド形状を伴うエゴセントリック動画シーケンスにおける正確でリアルタイムのフィンガートゥップ検出の課題に対処すること。
• エゴセントリックハンド動画に一般的に見られる視覚的変動性や隠蔽を効果的に処理できる、堅牢なディープラーニングパイプラインの開発。
• エゴセントリックフィンガートゥップ検出分野の研究を支援するため、大規模かつアノテーション済みのデータセットEgo-Fingertipの作成と公開。
• 実用的なウェアラブルコンputィングへの導入を想定し、高精度な検出性能を維持しながらリアルタイムの推論性能を達成すること。

提案手法

• 二段階の段階的CNNパイプラインを設計し、注意機構を用いたハンド検出器に続いてマルチポイントのフィンガートゥップ検出器を配置する。
• 注意機構を用いたハンド検出器は、空間的注意メカニズムを用いて関連領域に焦点を当てることで、ごみだらけの背景下でも局所化精度を向上させる。
• マルチポイントのフィンガートゥップ検出器は、完全畳み込みネットワークアーキテクチャを用いて複数のフィンガートゥップの座標を回帰する。
• パイプラインは、正確なフィンガートゥップアノテーションを備えた多様なエゴセントリックハンド画像を含むEgo-Fingertipデータセット上でエンド・トゥ・エンドに訓練される。
• 二段階の推論戦略により、まずハンド領域を局所化した後にフィンガートゥップ位置を精緻化することで、計算コストを低減する。
• データオーグメンテーションおよびドメイン特化の前処理を適用することで、照明の変化や視点の変化に対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 段階的CNNアーキテクチャは、複雑で動的な背景下においても、エゴセントリック動画におけるリアルタイムかつ正確なフィンガートゥップ検出を達成できるか？
• RQ2 標準的なリージョンプロポーザルネットワークと比較して、注意機構を用いたハンド検出器は、局所化精度をどの程度向上させるか？
• RQ3 固定トポロジーを持つキーポoint検出と比較して、マルチポイント回帰はフィンガートゥップ局所化においてどの程度優れているか？
• RQ4 本手法は、現実世界のエゴセントリック環境における多様なハンド形状、ポーズ、照明条件にどの程度一般化できるか？

主な発見

• 提案された段階的CNNパイプラインは、標準的なハードウェア上で30 FPSを超えるリアルタイム推論速度を達成する。
• 注意機構を用いたハンド検出器は、Ego-Fingertipデータセット上でベースラインのFaster R-CNNと比較して、局所化精度を12.3%向上させる。
• マルチポイントのフィンガートゥップ検出器は、5ピクセルの閾値で平均平均精度（mAP）89.7%を達成する。
• 本手法は、Ego-Fingertipベンチマークにおいて、精度と推論速度の両面で、既存の最先端手法を上回る性能を発揮する。
• Ego-Fingertipデータセットには、正確なフィンガートゥップアノテーションが付与された10,000フレームが含まれており、信頼性の高い評価と訓練を可能にする。