[論文レビュー] Multi-Prototype Networks for Unconstrained Set-based Face Recognition

Jian Zhao, Jianshu Li+7 more|arXiv (Cornell University)|Feb 13, 2019

Face recognition and analysis参考文献 48被引用数 6

ひとこと要約

本稿では、非制約的画像および動画集合から複数の判別性の高い顔のプロトタイプを学習するエンド・ツー・エンドでトレーニング可能なモデル、Multi-Prototype Networks (MPNet) を提案する。MPNetは、Dense Sub-Graph (DSG) 学習サブネットワークを用いて、媒体セットをコンパクトで条件特化型のプロトタイプに暗黙的に分割し、IJB-A、YTF、IJB-Cベンチマークにおいて、最先端の手法よりも顕著に高いセットベース認識精度を達成する。

ABSTRACT

In this paper, we study the challenging unconstrained set-based face recognition problem where each subject face is instantiated by a set of media (images and videos) instead of a single image. Naively aggregating information from all the media within a set would suffer from the large intra-set variance caused by heterogeneous factors (e.g., varying media modalities, poses and illuminations) and fail to learn discriminative face representations. A novel Multi-Prototype Network (MPNet) model is thus proposed to learn multiple prototype face representations adaptively from the media sets. Each learned prototype is representative for the subject face under certain condition in terms of pose, illumination and media modality. Instead of handcrafting the set partition for prototype learning, MPNet introduces a Dense SubGraph (DSG) learning sub-net that implicitly untangles inconsistent media and learns a number of representative prototypes. Qualitative and quantitative experiments clearly demonstrate superiority of the proposed model over state-of-the-arts.

研究の動機と目的

• ポーズ、照明、メディアモダリティの変動に起因する、非制約的セットベース顔認識における高いセット内ばらつきの課題に対処すること。
• 既存手法がセット構造の事前仮定なしに、手作業によるセット分割や単純なプーリング（例：平均/最大）に依存する限界を克服すること。
• セット構造に関する事前仮定なしに、被験者ごとに複数の判別性の高いプロトタイプを適応的に学習できるエンド・ツー・エンドでトレーニング可能なフレームワークを構築すること。
• 多様な条件下での被験者固有の表現をモデル化することで、現実世界の顔認識におけるロバスト性と正確性を向上させること。
• 顔の顕著な特徴を捉えるコンパクトで条件特化型のプロトタイプを学習することで、効果的なセット対セットマッチングを可能にすること。

提案手法

• 混合画像および動画セットから被験者ごとに複数のプロトタイプ表現を学習するマルチプロトタイプネットワーク（MPNet）を提案する。
• 類似度に基づいて、手作業によるクラスタリングを必要とせずに、各メディアセットを分離可能なサブセットに暗黙的に分割する、Dense Sub-Graph (DSG) 学習サブネットワークを導入する。
• DSGサブネットワークを用いて、各サブセット内でコンパクトで、異なる被験者間で判別性の高いプロトタイプを学習する。
• エンド・ツー・エンドでトレーニングすることで、プロトタイプのコンパクト性とカバレッジを向上させ、ポーズ、照明、モダリティなどの不均一な属性を効果的に分離する。
• ナードプーリングに代えて、学習されたプロトタイプによる特徴集約を適用し、セットレベルのマッチングに必要な重要な情報を保持する。
• 判別性を最適化するためのコントラスト損失を用い、プロトタイプが明確に区別されつつも、セット内の一貫性を維持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 明示的なセット分割なしに、深層学習モデルが非制約的メディアセットから複数の条件特化型顔プロトタイプを学習できるか？
• RQ2 1つのプロトタイプやナードプーリングに比べ、複数プロトタイプのエンド・ツー・エンド学習が認識精度をどのように向上させるか？
• RQ3 DSGベースのサブネットワークが、不一致なメディアをどれほど暗黙的に分離し、高いばらつきを持つ状況での表現品質を向上させられるか？
• RQ4 ポーズ、照明、メディアタイプの変動度が異なる多様なベンチマークに、MPNetは一般化可能か？
• RQ5 提案フレームワークは、厳しい現実世界のセットベース顔認識シナリオにおいて、最先端の手法を上回る性能を示せるか？

主な発見

• IJB-Aベンチマークでは、MPNetは比較対象の全手法の中で最高の認証性能を達成し、2番目に良い手法と顕著な差を示した。
• YTFベンチマークでは、MPNetは2番目に良い結果を1.10%向上させ、動画ベース認識における強力な一般化能力を示した。
• IJB-Cベンチマークでは、MPNetはFAR=10^-5におけるTARを0.827に達成し、2番目に良い手法を5.60ポイント上回り、極端な変動に強いことを確認した。
• 可視化結果から、学習されたプロトタイプが特定のポーズや照明条件に対応していることが示され、モデルが不均一な属性を分離できることを裏付けた。
• アブレーションスタディにより、DSGサブネットワークが性能に不可欠であることが確認され、その削除により顕著な精度低下が生じ、暗黙的セット分割におけるその役割を裏付けた。
• 全ペairワイズマッチング手法よりも低い計算複雑性で優れたパフォーマンスを達成しており、現実世界での展開に実用的である。