[論文レビュー] How to Train Triplet Networks with 100K Identities?

Chong Wang, Xue Zhang+1 more|arXiv (Cornell University)|Sep 9, 2017

Face recognition and analysis参考文献 11被引用数 19

ひとこと要約

本論文は、100Kのアイデンティティでトリプレットネットワークを学習するための部分空間学習アプローチを提案する。アイデンティティを類似するアイデンティティの部分空間に分割することで、バッチオンラインハードネガティブマイニング（OHNM）を介したより効果的なハードトリプレットマイニングを可能にする。この手法は、外部データを用いないMS-Celeb-1M Challenge1で最先端の性能を達成し、LFWで99.48%の精度、ランダムセットで75%のリCALLを達成。これは外部データなしで理論的な上限に達している。

ABSTRACT

Training triplet networks with large-scale data is challenging in face recognition. Due to the number of possible triplets explodes with the number of samples, previous studies adopt the online hard negative mining(OHNM) to handle it. However, as the number of identities becomes extremely large, the training will suffer from bad local minima because effective hard triplets are difficult to be found. To solve the problem, in this paper, we propose training triplet networks with subspace learning, which splits the space of all identities into subspaces consisting of only similar identities. Combined with the batch OHNM, hard triplets can be found much easier. Experiments on the large-scale MS-Celeb-1M challenge with 100K identities demonstrate that the proposed method can largely improve the performance. In addition, to deal with heavy noise and large-scale retrieval, we also make some efforts on robust noise removing and efficient image retrieval, which are used jointly with the subspace learning to obtain the state-of-the-art performance on the MS-Celeb-1M competition (without external data in Challenge1).

研究の動機と目的

• 標準的なオンラインハードネガティブマイニングが、希なハードトリプレットのためのスケーリング（100Kのアイデンティティ）における学習に失敗するという課題に対処する。
• 大規模な顔認識において、効果的なハードトリプレットを効率的に見つける困難を、類似するアイデンティティの部分空間にアイデンティティを構造化することで克服する。
• 大規模でノイズの多いデータセットに対して、ノイズ除去と階層的リtrieval技術を統合することで、学習効率とモデルの頑健性を向上させる。
• 外部データを一切使用しないMS-Celeb-1M Challenge1で最先端の性能を達成する。特に、リCALLが顕著に向上したハードセットにおいて顕著である。

提案手法

• アイデンティティ表現に基づくクラスタリングを用いて、全体のアイデンティティ空間を類似するアイデンティティのみを含む部分空間に分割する。
• 各部分空間内でバッチオンラインハードネガティブマイニング（OHNM）を適用し、意味的で効果的なハードトリプレットを効率的に発見する。
• 事前学習済み分類モデルを活用してノイズのある顔画像を特定・削除する3段階のノイズ除去手法を導入し、データ品質を向上させる。
• 検索空間を504万から約10万＋50の候補にまで削減する2段階の階層的リtrieval戦略を実装し、推論速度を著しく向上させる。
• リtrievalパイプラインでGPU加速された行列乗算を活用し、1画像あたり0.1秒未満の推論時間を達成する。
• 部分空間学習、ノイズ除去、階層的リtrievalを統合したエンドツーエンドのパイプラインを構築し、大規模な顔認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 100Kのアイデンティティで学習するトリプレットネットワークにおいて、類似するアイデンティティをサンプリングする確率が極めて低い状況で、効果的なハードトリプレットを信頼性高くマイニングする方法は何か？
• RQ2 アイデンティティの部分空間クラスタリングは、トレーニング中のハードトリプレットの質と発見可能性を向上させることができるか？
• RQ3 MS-Celeb-1Mのような大規模データセットにおけるノイズは、トリプレットネットワークの性能にどのように影響を与えるか？また、このようなデータを効果的にクリーニングする戦略は何か？
• RQ4 500万枚の画像という規模で、正確性を損なわずに効率的かつ正確な顔認識を実現するリtrieval戦略は何か？
• RQ5 部分空間学習とデータクリーニングを用いて学習された1つのトリプレットネットワークが、外部データを一切使用せずにMS-Celeb-1Mで最先端の性能を達成できるか？

主な発見

• 提案手法の部分空間学習とバッチOHNMは、LFWで99.48%の精度を達成。標準的なトリプレット学習を上回り、800万のアイデンティティで学習したFaceNetの99.63%に近づく。
• 外部データなしのMS-Celeb-1M Challenge1において、ランダムセットで75%のリCALLを達成。これは理論的な上限に達している。
• ハードセットのリCALLは60.6%に達し、従来手法（例：CIGIT_NLPRの53.4%）を著しく上回り、ハードサンプルに対する頑健性が向上している。
• ノイズ除去手法はLFWで99.36%の精度を達成。元のデータと固定比率ベースラインを上回り、優れたノイズ処理能力を示している。
• GPU加速を活用した2段階の階層的リtrievalにより、1画像あたりのリtrieval時間が0.052秒にまで短縮され、5万枚のテスト画像の全推論を約1時間で実行可能となった。
• 外部データを使用するチームと比較しても競争力のある性能を発揮。ハードセットのリCALLは60.6%で、精度最適化型のリCALLを実現したSmileLab（61%）やPanasonic-NUS（79.1%）を上回っている。