[論文レビュー] Large-scale Bisample Learning on ID Versus Spot Face Recognition

Xiangyu Zhu, Hao Liu+6 more|arXiv (Cornell University)|Jun 8, 2018

Face recognition and analysis参考文献 57被引用数 9

ひとこと要約

本稿では、ID 対 Spot (IvS) 顔認識のためのスケーラブルな大規模二サンプル学習 (LBL) を提案する。弱いクラス内変動と巨視的クラス数へのスケーラビリティの課題に取り組み、分類–検証–分類 (CVC) のトレーニング戦略とドミナントプロトタイプソフトマックス (DP-softmax) を導入。1 クラスあたり 2 サンプルでの学習を可能にし、200万以上ものクラスを含むデータセットで 0.15% のクラスサンプリングで最先端の性能を達成した。

ABSTRACT

In real-world face recognition applications, there is a tremendous amount of data with two images for each person. One is an ID photo for face enrollment, and the other is a probe photo captured on spot. Most existing methods are designed for training data with limited breadth (a relatively small number of classes) and sufficient depth (many samples for each class). They would meet great challenges on ID versus Spot (IvS) data, including the under-represented intra-class variations and an excessive demand on computing devices. In this paper, we propose a deep learning based large-scale bisample learning (LBL) method for IvS face recognition. To tackle the bisample problem with only two samples for each class, a classification-verification-classification (CVC) training strategy is proposed to progressively enhance the IvS performance. Besides, a dominant prototype softmax (DP-softmax) is incorporated to make the deep learning scalable on large-scale classes. We conduct LBL on a IvS face dataset with more than two million identities. Experimental results show the proposed method achieves superior performance to previous ones, validating the effectiveness of LBL on IvS face recognition.

研究の動機と目的

• 1 クラスあたり 2 サンプルでの学習を実現する大規模 IvS 顔認識データに対して、深層ネットワークを訓練する課題に対処すること。
• 1 クラスあたりのサンプル数が少ないことによる弱いクラス内変動を克服すること。
• 限られたGPUリソースで巨視的クラス数（例：200万以上）の学習をスケーラブルに可能にすること。
• 多様なID画像とスポット画像を含む実世界の IvS シナリオにおいて、一般化性能と判別的特徴学習を向上させること。
• 大規模二サンプル学習をシミュレートするための再現可能なベンチマークとして、Megaface-bisampleプロトコルを構築すること。

提案手法

• CVC（分類–検証–分類）トレーニング戦略の提案：ウェブデータを用いた分類による事前学習、IvSデータを用いた検証による微調整、その後の大規模分類による再学習。
• 計算コストを低減するため、バッチごとに最もドミナントで類似したクラスのみを選択するドミナントプロトタイプソフトマックス（DP-softmax）を導入。
• クラスの近接度を用いてドミナントクラスを特定し、ミニバッチ内で全クラスの 0.15% のみを対象として、効果的な勾配更新を可能に。
• 各クラスごとにドミナントキューを構築し、トレーニング中に類似クラスを動的に追跡・更新。
• ID特徴が利用できない状況（特にMegaface-bisampleシミュレーション時）において、平均プロトタイプを初期化に活用。
• 大規模二サンプル学習の再現可能な評価を可能にするため、Public-IvSデータセットと新しいプロトコルであるMegaface-bisampleを公開。

実験結果

リサーチクエスチョン

• RQ1 ウェブ収集データから得た知識を、1 クラスあたり 2 サンプルでの IvS 顔認識に効果的に転移できるか、プログレッシブな CVC トレーニング戦略は有効か？
• RQ2 限られたGPUメモリで 200万以上のIDを含む IvS データセットに対して、深層学習をどのようにスケーラブルに実現できるか？
• RQ3 ソフトマックス損失におけるドミナントプロトタイプ選択は、全クラスの 0.15% のみを対象とすることで、トレーニングコストを大幅に削減しつつ性能を維持できるか？
• RQ4 提案された DP-softmax 法は、標準的なソフトマックスや他の損失変種よりも、大規模二サンプル顔認識で優れた性能を示すか？
• RQ5 Megaface-bisampleプロトコルは、実世界の IvS データの課題を正確にシミュレートでき、ベンチマークに適しているか？

主な発見

• 提案された LBL 法は、CASIA-IvS-Test で FAR=10^-5 時に 97.70% の検証率を達成し、従来の最先端手法を上回った。
• DP-softmax により、バッチあたり全クラスの 0.15% のみを対象とすることで、GPUメモリ使用量を顕著に削減した。
• CVC戦略により性能が段階的に向上し、特に検証段階と最終分類段階で顕著な向上が見られた。
• Megaface-bisampleプロトコルにおいて、LBL(DP-softmax)は FAR=10^-5 時に 73.86% のVRを達成し、すべてのベースラインを 8 パcent以上上回った。
• Public-IvS および Megaface-bisample における複数のベンチマークで一貫した改善が確認され、一般化性能に優れたことが示された。
• Public-IvS データセットと Megaface-bisample プロトコルの公開により、大規模二サンプル学習の再現可能評価と今後のベンチマークが可能になった。