[論文レビュー] MultiFace: A Generic Training Mechanism for Boosting Face Recognition Performance

Jing Xu, Tszhang Guo+3 more|arXiv (Cornell University)|Jan 25, 2021

Face recognition and analysis参考文献 27被引用数 4

ひとこと要約

本稿では、高次元特徴を低次元部分空間のアンサンブルによって近似する一般的なトレーニング手法であるMultiFaceを提案する。これらの部分空間にわたる共同監視を適用することで、収束速度が向上（ソフトマックスを用いる場合2–3倍、Arcface/Cosfaceを用いる場合1.2–1.5倍）し、精度が向上し、IJB-B/CおよびMegaFaceにおいて最先端の性能を達成する。これはクラス内Compactnessの向上とクラス間Separabilityの強化に起因する。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) and their variants have been widely used in large scale face recognition(FR) recently. Existing methods have achieved good performance on many FR benchmarks. However, most of them suffer from two major problems. First, these methods converge quite slowly since they optimize the loss functions in a high-dimensional and sparse Gaussian Sphere. Second, the high dimensionality of features, despite the powerful descriptive ability, brings difficulty to the optimization, which may lead to a sub-optimal local optimum. To address these problems, we propose a simple yet efficient training mechanism called MultiFace, where we approximate the original high-dimensional features by the ensemble of low-dimensional features. The proposed mechanism is also generic and can be easily applied to many advanced FR models. Moreover, it brings the benefits of good interpretability to FR models via the clustering effect. In detail, the ensemble of these low-dimensional features can capture complementary yet discriminative information, which can increase the intra-class compactness and inter-class separability. Experimental results show that the proposed mechanism can accelerate 2-3 times with the softmax loss and 1.2-1.5 times with Arcface or Cosface, while achieving state-of-the-art performances in several benchmark datasets. Especially, the significant improvements on large-scale datasets(e.g., IJB and MageFace) demonstrate the flexibility of our new training mechanism.

研究の動機と目的

• 深層顔認識に一般的に見られる高次元顔特徴空間における収束の遅さと最適化の非効率性を解消すること。
• 表現力（高次元）と最適化の難易度（次元の高さ）のトレードオフを克服すること。
• バックボーンアーキテクチャや損失関数を変更せずに、クラス内Compactnessとクラス間Separabilityを向上させること。
• さまざまな顔認識モデルおよび損失関数に適用可能な汎用的で、プラグアンドプレイなトレーニング機構を開発すること。
• 低次元部分特徴アンサンブルが引き起こすクラスタリング効果を通じて、モデルの解釈性を向上させること。

提案手法

• 高次元顔特徴ベクトル x ∈ ℝ^d を N 個の等サイズの部分ベクトル x₁, x₂, ..., xₙ に分割し、それぞれの次元は d/N とする。
• トレーニング中に各部分ベクトルに別個の監視損失を適用し、すべての N 個の部分空間にわたる共同最適化を可能にする。
• 各部分ベクトルに対して標準的な顔認識損失関数（例：ソフトマックス、Arcface、Cosface）を適用しつつ、同じCNNバックボーンを共有する。
• 推論時、すべての部分ベクトルグループにわたる統合意思決定に基づいて特徴ベクトル間の類似度を計算する。
• 部分特徴の補完的で判別性の高い性質を活用し、特徴分布の質を向上させる。
• 本手法が任意のCNNバックボーンおよびメトリクス学習損失関数と互換性を持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元特徴空間を低次元部分空間のアンサンブルで近似することで、顔認識における収束速度の向上が図れるか？
• RQ2 MultiFace機構は、学習された特徴表現におけるクラス内Compactnessとクラス間Separabilityを向上させるか？
• RQ3 MultiFaceは、特にIJB-B/CやMegaFaceのような大規模データセットを含む多様なベンチマークにおいて、どれほど認識精度を向上させるか？
• RQ4 部分空間の数（N）がモデルの性能および一般化能力に与える影響はいかほどか？
• RQ5 MultiFace機構は、さまざまな損失関数（例：ソフトマックス、Arcface、Cosface）およびバックボーンアーキテクチャに効果的に適用可能か？

主な発見

• ソフトマックス損失を用いる場合、低次元部分空間における最適化ダイナミクスの向上により、トレーニングが2–3倍速くなる。ArcfaceまたはCosfaceを用いる場合、1.2–1.5倍の加速が達成される。
• IJB-Bデータセットでは、Multi-Arcface（N=2）が元のArcfaceに比べてTAR@FAR=10%で0.93%の向上を示し、95.13%に達した。
• IJB-Cでは、Multi-ArcfaceがTAR@FAR=10%を96.38%まで向上させ、新たな最先端性能を樹立した。
• 洗練されたMegaFace1データセットでは、Multi-Cosfaceがランク1精度98.62%、TAR 98.85%を達成し、元のCosfaceを上回り、新たなベースラインを設定した。
• 同じResNet-100バックボーンを用いた洗練されたMegaFace1データセットにおいて、Multi-Arcfaceはランク1精度を98.35%から98.44%へ、TARを98.48%から98.72%へ向上させた。
• 本手法は強力な一般化性能を示し、LFW、CALFW、CPLFW、IJB-B/C、MegaFaceにおいてすべてのベンチマークで最先端の性能を達成し、一貫した向上が確認された。