[論文レビュー] A Deep Learning based Framework to Detect and Recognize Humans using Contactless Palmprints in the Wild

Yang Liu, Ajay Kumar|arXiv (Cornell University)|Dec 29, 2018

Biometric Identification and Security参考文献 29被引用数 7

ひとこと要約

本論文は、未規定環境における接触なしパームプリントを用いた人物検出および識別を目的としたディーブラーニングフレームワークを提案する。完全畳み込みネットワークに、特徴の判別性を高めるために新規に導入されたソフトシフトトリプレット損失関数を組み合わせ、パーム領域のローカライゼーションを強力に行うFaster R-CNNベースのパーム検出器を用いる。本手法は、データセット固有のチューニングを必要とせず、公開データセット間で優れた汎用性を示し、精度と耐障害性において最先端の手法を上回る性能を発揮する。

ABSTRACT

Contactless and online palmprint identfication offers improved user convenience, hygiene, user-security and is highly desirable in a range of applications. This technical report details an accurate and generalizable deep learning-based framework to detect and recognize humans using contactless palmprint images in the wild. Our network is based on fully convolutional network that generates deeply learned residual features. We design a soft-shifted triplet loss function to more effectively learn discriminative palmprint features. Online palmprint identification also requires a contactless palm detector, which is adapted and trained from faster-R-CNN architecture, to detect palmprint region under varying backgrounds. Our reproducible experimental results on publicly available contactless palmprint databases suggest that the proposed framework consistently outperforms several classical and state-of-the-art palmprint recognition methods. More importantly, the model presented in this report offers superior generalization capability, unlike other popular methods in the literature, as it does not essentially require database-specific parameter tuning, which is another key advantage over other methods in the literature.

研究の動機と目的

• 未規定の現実世界環境において、高精度かつ汎用的な接触なしパームプリント認識を実現するディープラーニングベースのフレームワークの開発。
• 画像撮影の変動が大きい状況下でも、特徴の学習を改善することで、接触なしパームプリント画像における高い変動に耐える特徴の学習を実現する。
• 手作業によるセグメンテーションを必要とせず、複雑な背景からパーム領域を正確に検出できる、耐障害性の高いエンドツーエンドシステムの設計。
• データベース固有のハイパーパrameterチューニングに依存するのを最小限に抑え、多様なデータセット間でのモデルの汎用性を向上させる。
• 公平な比較条件下で、従来手法および最先端のパームプリント認識手法を上回る優れた性能を示すことを実証する。

提案手法

• 接触なしパームプリント画像から、空間的に一致する特徴を深く学習するため、完全畳み込み残差ネットワークが用いられる。
• 撮影変動や限られた学習データ下でも特徴の判別性を向上させるために、新規のソフトシフトトリプレット損失関数（SSTL）が導入される。
• パーム検出モジュールはFaster R-CNNに基づき、領域提案ネットワーク（RPN）とFast R-CNNヘッドを組み合わせて、複雑な背景におけるパーム領域の正確なローカライゼーションを実現する。
• データ拡張を3,000枚の画像データセットに適用し、30,000枚に拡張することで、トレーニング中の検出器の汎用性を向上させる。
• TensorFlowを用いてエンドツーエンドで学習が行われ、検出と識別コンponentの共同最適化が可能になる。
• 検出の耐障害性を評価するため、mAPと複数のIoU閾値（0.35–0.6）におけるリコールが性能評価に用いられる。

実験結果

リサーチクエスチョン

• RQ1 データセット固有のハイパーパrameterチューニングを必要とせず、接触なしパームプリント認識において高精度を達成できるか。
• RQ2 提案されたソフトシフトトリプレット損失は、未規定環境における撮影変動下でも、判別性の高い特徴を学習するのにどの程度効果的か。
• RQ3 Faster R-CNNベースの検出器は、複雑で動的な背景からも、手のパーム領域を信頼性高く検出できるか。
• RQ4 提案されたフレームワークは、再トレーニングや微調整なしに、異なる公開接触なしパームプリントデータベース間で良好に汎用化できるか。
• RQ5 低IoUオーバーラップや多様な照明・背景条件といった挑戦的な検出シナリオ下で、本システムはどの程度の性能を示すか。

主な発見

• 提案されたフレームワークは、公平な比較条件下で、公開の接触なしパームプリントデータベースにおいて、従来手法および最先端の手法を常に上回る性能を発揮する。
• ランダムデータ分割（戦略a）を用いた場合、mAPが100%、IoU閾値0.35でのリコールが100%に達し、検出の信頼性が非常に高いことが示された。
• きびしいIoU閾値0.6でも、戦略（a）下でmAPが98.20%、リコールが98.97%を維持しており、高いローカライゼーション精度を示している。
• 背景ベースの分割（戦略b）下では、IoU 0.5でmAPが98.44%、リコールが98.78%を達成し、ドメインシフトに対して強い耐性を示している。
• 他の手法とは異なり、データセット固有のチューニングなしに、データセット間で効果的に汎用化されている。
• トレーニング済みのパーム検出器は20,000エポックで収束し、1枚あたり平均0.101秒でテスト画像を処理できるため、リアルタイムデプロイメントが可能である。