[論文レビュー] BroadFace: Looking at Tens of Thousands of People at Once for Face Recognition

Yonghyun Kim, Wonpyo Park+1 more|arXiv (Cornell University)|Aug 15, 2020

Face recognition and analysis参考文献 52被引用数 7

ひとこと要約

BroadFaceは、学習中に過去の埋め込みベクトルの大きなキューを動的に参照することで、数万のアイデンティティにわたるグローバル最適化を可能にする、顔認識のための新規な訓練手法を提案する。埋め込みエラーを補正する補正機構を導入することで、推論コストをほとんど増加させずに9つのデータセットで最先端の精度を達成し、収束を著しく加速し、さまざまなバックボーンネットワークや損失関数において一般化性能を向上させる。

ABSTRACT

The datasets of face recognition contain an enormous number of identities and instances. However, conventional methods have difficulty in reflecting the entire distribution of the datasets because a mini-batch of small size contains only a small portion of all identities. To overcome this difficulty, we propose a novel method called BroadFace, which is a learning process to consider a massive set of identities, comprehensively. In BroadFace, a linear classifier learns optimal decision boundaries among identities from a large number of embedding vectors accumulated over past iterations. By referring more instances at once, the optimality of the classifier is naturally increased on the entire datasets. Thus, the encoder is also globally optimized by referring the weight matrix of the classifier. Moreover, we propose a novel compensation method to increase the number of referenced instances in the training stage. BroadFace can be easily applied on many existing methods to accelerate a learning process and obtain a significant improvement in accuracy without extra computational burden at inference stage. We perform extensive ablation studies and experiments on various datasets to show the effectiveness of BroadFace, and also empirically prove the validity of our compensation method. BroadFace achieves the state-of-the-art results with significant improvements on nine datasets in 1:1 face verification and 1:N face identification tasks, and is also effective in image retrieval.

研究の動機と目的

• 顔認識におけるミニバッチ学習の限界、すなわち小さなバッチでは数万のアイデンティティの完全な分布を表現できないという問題に対処すること。
• 分類器最適化に過去の多数の埋め込みを組み込むことで、埋め込み空間における意思決定境界の最適性を向上させること。
• 推論時の計算コストを増加させずにモデルの収束を加速させ、認識精度を向上させること。
• さまざまなバックボーンネットワークや損失関数に適用可能な汎用的な手法を開発すること。

提案手法

• BroadFaceは、以前の学習イテレーションからの埋め込みベクトルを格納する、大規模で固定サイズのキューを維持し、分類器が広範なアイデンティティの分布を参照できるようにする。
• 線形分類器は、現在のミニバッチに加えてキューに蓄積された埋め込みを用いて更新され、意思決定境界のグローバルな代表性が向上する。
• 現在の埋め込みと過去のアイデンティティ代表ベクトルの差をモデル化することで、それらの重みの差を補正する補正機構を導入する。
• エンコーダは、分類器の勾配（現在の埋め込みと履歴の両方の学習に使用）を用いてバックプロパゲーションにより共同最適化される。
• 標準的な損失関数（例：ArcFaceやCosFace）と互換性があり、MobileFaceNet、ResNet-18、ResNet-100などのさまざまなバックボーンアーキテクチャに適用可能である。
• キューのサイズが唯一のハイパーパrameterであるため、異なる学習設定に容易にチューニング・展開可能である。

実験結果

リサーチクエスチョン

• RQ1 現在のミニバッチのみではなく、過去の埋め込みの大規模なセットを用いて意思決定境界を最適化することで、顔認識モデルがより良い一般化性能を達成できるか。
• RQ2 過去の埋め込みを動的に維持・更新することで、顔認識モデルの収束速度と最終的な精度にどのような影響を与えるか。
• RQ3 キュー内に蓄積される埋め込みエラーの影響は何か。また、それを学習中に効果的に補正できるか。
• RQ4 BroadFaceは、推論コストを増加させずに、さまざまなバックボーンネットワークや損失関数においてどれほど性能を向上させられるか。
• RQ5 キューのサイズを大幅に拡大した場合に、提案された補正機構が性能の低下を防げるか。

主な発見

• BroadFaceは、1:1認証および1:N識別タスクの両方において、9つの顔認識データセットで最先端の性能を達成し、既存手法を上回る。
• キューのサイズが32,768の場合、IJB-BデータセットにおいてFAR=1e-6の条件下でTARが0.4653に達し、ベースラインのArcFace（0.3828）を著しく上回る。
• 補正手法により、キューのサイズが16,000を超えていても高いリCALLを維持し、精度の低下を防止している。
• BroadFaceは学習を加速する：画像検索タスクにおいて、ピーク性能に達するまでのエポック数が、ベースラインのArcFaceの45エポックに対し、BroadFaceでは10エポックで達成される。
• ResNet-34をBroadFaceで学習した場合、ArcFaceで学習したResNet-100と同等の精度を達成しており、本手法の効率性と有効性を示している。
• 本手法は普遍的に適用可能であり、MobileFaceNet、ResNet-18、ResNet-34、ResNet-100のすべてで性能向上が得られ、追加の推論コストを発生させない。