[論文レビュー] Recognizing Partial Biometric Patterns

Lingxiao He, Zhenan Sun+2 more|arXiv (Cornell University)|Oct 17, 2018

Face recognition and analysis参考文献 42被引用数 84

ひとこと要約

この論文は、SFRとバッチハードトリプレット学習を用いたアライメント不要のエンドツーエンドフレームワークを提案し、部分的な生体認証パターンを跨いだ人物再識別と部分的顔認識タスクを認識することを目指し、複数のデータセットで最先端の結果を達成します。

ABSTRACT

Biometric recognition on partial captured targets is challenging, where only several partial observations of objects are available for matching. In this area, deep learning based methods are widely applied to match these partial captured objects caused by occlusions, variations of postures or just partial out of view in person re-identification and partial face recognition. However, most current methods are not able to identify an individual in case that some parts of the object are not obtainable, while the rest are specialized to certain constrained scenarios. To this end, we propose a robust general framework for arbitrary biometric matching scenarios without the limitations of alignment as well as the size of inputs. We introduce a feature post-processing step to handle the feature maps from FCN and a dictionary learning based Spatial Feature Reconstruction (SFR) to match different sized feature maps in this work. Moreover, the batch hard triplet loss function is applied to optimize the model. The applicability and effectiveness of the proposed method are demonstrated by the results from experiments on three person re-identification datasets (Market1501, CUHK03, DukeMTMC-reID), two partial person datasets (Partial REID and Partial iLIDS) and two partial face datasets (CASIA-NIR-Distance and Partial LFW), on which state-of-the-art performance is ensured in comparison with several state-of-the-art approaches. The code is released online and can be found on the website: https://github.com/lingxiao-he/Partial-Person-ReID.

研究の動機と目的

• 遮蔽、姿勢変動、または部分的な視野により対象が部分的に観測される場合の生体認識に対処する。
• 入力サイズや厳密なアライメントに依存しない汎用フレームワークを開発する。
• 任意サイズの特徴マップを一致させるために、辞書学習を用いたSpatial Feature Reconstruction (SFR)を導入する。
• SFRをエンドツーエンド最適化のためのバッチハードトリプレット学習パラダイムに組み込む。
• 完全/部分の再識別および部分的な顔データセットを含む多様なデータセットで有効性を示す。

提案手法

• 入力画像から空間特徴マップを生成するためにFully Convolutional Network (FCN)エンコーダを用いる。
• グローバル平均プーリング(GAP)とピラミッドプーリングからなる特徴後処理ユニットを適用し、グローバルかつ多層スケールの空間特徴を得る。
• Spatial Feature Reconstruction (SFR)を導入する：探索画像の各空間特徴を辞書集合からの学習された線形結合とL2正則化を用いて再構成し、入力サイズの変動に対してアライメント不要なマッチングを可能にする。
• 再構成残差に基づく空間特徴再構成距離 Ds(X, Y) を計算し、これをグローバル特徴距離と組み合わせた融合距離で使用する。
• 異なる同一性間の距離を最大化し、同一性内の距離を最小化するためにバッチハードトリプレット損失(BH)で学習し、識別性を向上させるためにSFRを拡張したBH-SFRで学習する。
• 再構成係数Wを更新し、その後FCNを通して逆伝搬してθを最適化する交互最適化ルーチンを提供する。

実験結果

リサーチクエスチョン

• RQ1 アライメントなしで任意サイズかつ部分的に観測された生体特徴を認識するのは頑健か？
• RQ2 グローバル特徴と空間特徴再構成を組み合わせると、再識別と部分的顔認識タスク全体で部分的生体認識の精度が向上するのか？
• RQ3 エンドツーエンド訓練において空間特徴再構成を拡張したバッチハードトリプレット学習はどれほど効果的か？
• RQ4 標準データセットおよび部分的バイオメトリクスデータセット（Market1501, CUHK03, DukeMTMC-reID, Partial-REID, Partial-iLIDS, CASIA-NIR-Distance, Partial LFW など）における手法の性能は？

主な発見

Method	Market1501 Rank-1	Market1501 mAP	Market1501 Rank-1 (Multi-Query)	Market1501 mAP (Multi-Query)	CUHK03 Rank-1 (Labeled)	CUHK03 mAP (Labeled)	CUHK03 Rank-1 (Detected)	CUHK03 mAP (Detected)
SFR (ours)	93.04	81.02	94.84	85.47	67.29	61.47	63.86	58.97

• SFRは標準データセットと部分的生体データセットの両方で競争力のある性能を達成する。
• Market1501（単一クエリ）でSFRはRank-1 93.04%、mAP 81.02%に達し、いくつかのベースラインを上回る。
• Market1501（マルチクエリ）でSFRはRank-1 94.84%、mAP 85.47%に達する。
• CUHK03（Labeled）でSFRはRank-1 67.29%、mAP 61.47%；（Detected）Rank-1 63.86%、mAP 58.97%。
• 提案手法は複数の現代的手法（パートベース、マスクガイド、ポーズガイド、アテンションベースなど）と比較して強い結果を示し、スケールとアライメントの問題に対して頑健であることを示す。