[論文レビュー] Multi-scale prediction for robust hand detection and classification

Lu Ding, Yong Wang+3 more|arXiv (Cornell University)|Apr 23, 2018

Hand Gesture Recognition Systems参考文献 15被引用数 3

ひとこと要約

本稿では、密度的な領域提案と統合予測にマルチスケール特徴マップを活用することで、ハンド検出および分類を向上させる新規な手法であるマルチスケール予測完全畳み込みネットワーク（MSP-RFCN）を提案する。この手法は、VIVA、Oxford、ARJデータセットにおいて最先端の性能を達成し、遮蔽、低解像度、照明変動といった困難な条件下でも、精度と耐障害性に優れている。

ABSTRACT

In this paper, we present a multi-scale Fully Convolutional Networks (MSP-RFCN) to robustly detect and classify human hands under various challenging conditions. In our approach, the input image is passed through the proposed network to generate score maps, based on multi-scale predictions. The network has been specifically designed to deal with small objects. It uses an architecture based on region proposals generated at multiple scales. Our method is evaluated on challenging hand datasets, namely the Vision for Intelligent Vehicles and Applications (VIVA) Challenge and the Oxford hand dataset. It is compared against recent hand detection algorithms. The experimental results demonstrate that our proposed method achieves state-of-the-art detection for hands of various sizes.

研究の動機と目的

• 現実世界のシナリオにおける小さな、変形しやすく、遮蔽されたハンドを検出するという持続的な課題に対処すること。
• 特徴マップのダウンサンプリングとRoIプーリングの不整合性により、既存のFaster R-CNNおよびRFCNベースの手法が小さな物体を検出する際に抱える制限を克服すること。
• マルチスケール特徴マップの統合を通じて、低解像度、照明変化、遮蔽の下でも検出の耐障害性を向上させること。
• 複数のベンチマークデータセットにおいて、ハンド検出および分類（左/右、ドライバー/乗客）の両面で最先端の性能を達成すること。
• 高い精度を維持しながらリアルタイム推論を可能にする軽量で効率的な検出フレームワークを設計すること。

提案手法

• 本手法は、畳み込みニューラルネットワーク（CNN）の複数の層からの特徴マップを用いたマルチスケール予測スキームを採用し、異なる空間解像度で分類スコアとボクシングボックスの回帰を生成する。
• 特徴マップを連結または加算によって統合するのではなく、各特徴マップレベルが独立して検出スコアとボクシングボックスを予測することで、スケール固有の不変性と局所化精度を保持する。
• 上位レベル（意味的文脈が豊富）と下位レベル（高解像度）の特徴マップの予測を統合することで、意味的文脈と空間的詳細のバランスをとる。
• マルチスケール領域提案と検出をサポートするように、RPNおよびヘッドネットワークを変更したRFCNフレームワークに基づく。
• 局所化には、位置に敏感なROIプーリングを用い、量子化誤差を低減するためROIアライグを導入する可能性がある。
• 分類にはクロスエントロピー損失、ボクシングボックス回帰にはスムーズL1損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴マップは、現実の画像における小さなハンドや遮蔽されたハンドの検出精度を向上させることができるか？
• RQ2 複数の特徴マップレベルからの予測を統合することで、単一スケール検出と比較して、局所化および分類性能がどのように向上するか？
• RQ3 提案されたマルチスケールRFCNアーキテクチャは、困難なハンド検出ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？
• RQ4 照明変化、低解像度、重度の遮蔽の下でも、この手法はどの程度耐障害性を維持できるか？
• RQ5 実用的導入を想定して、高い精度を維持しながらリアルタイム推論速度を達成できるか？

主な発見

• VIVAデータセットでは、ResNet-101を用いてL1レベルで95.7%のAPと95.3%のAR、L2レベルで91.3%のAPと87.6%のARを達成し、比較対象のすべての手法を上回った。
• ハンド分類（左/右およびドライバー/乗客）において、左/右ハンドでは81.3%のAPと72.9%のAR、ドライバー/乗客では81.7%のAPと73.4%のARを達成し、すべてのベースラインを上回った。
• Oxfordデータセットでは、ResNet-101を用いて83.1%のAPと85.2%のARを達成し、Mittalら（48.2%のAP）やMS-RFCN（75.1%のAP）といった先行手法を顕著に上回った。
• ARJデータセットでは、ResNet-101を用いて84.0%のAPと86.4%のARを達成し、FRCNN（68.2%のAP）やR-FCN（73.1%のAP）を上回った。
• VGG16およびResNet-101を用いて、VIVAで4.0～5.0 FPSのリアルタイム推論を実現し、実用的導入の可能性を示した。
• 定性的な結果から、遮蔽、照明変動、低解像度の状況においても堅牢な検出が可能であることが確認され、現実世界のシナリオにおける耐障害性が裏付けられた。