[論文レビュー] CosFace: Large Margin Cosine Loss for Deep Face Recognition

Hao Wang, Yitong Wang+6 more|arXiv (Cornell University)|Jan 29, 2018

Face recognition and analysis参考文献 29被引用数 271

ひとこと要約

CosFaceは特徴と重みを正規化しコサインマージンを追加することでLarge Margin Cosine Loss（LMCL）を導入し、LFW、YTF、MegaFaceベンチマークで最先端の結果を達成します。

ABSTRACT

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by $L_2$ normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

研究の動機と目的

• 従来のsoftmaxを超える判別力を持つ特徴の必要性を動機づける。
• cosine空間におけるクラス間分散を最大化し、クラス内分散を最小化するLMCLを提案する。
• 特徴量と重みの正規化の両方が、角度マージンの大きい超球状特徴分布を生み出すことを示す。
• CosFaceを用いた標準ベンチマーク（LFW、YTF、Megaface）での最先端性能を示す。
• マージンパラメータと正規化が学習ダイナミクスに与える影響について理論的洞察を提供する。

提案手法

• 特徴量とクラス重みベクトルのL2正規化によりsoftmaxをコサイン損失として再定式化する。
• cosineマージン m を導入してコサイン空間に大きなマージン決定境界を作る。
• LMCL目的関数を定義：L_lmc = (1/N) sum_i -log( e^{s(cos(theta_{y_i,i})-m)} / ( e^{s(cos(theta_{y_i,i})-m)} + sum_{j≠y_i} e^{s cos(theta_{j,i})} ) ), with W and x normalized and scaled by s.
• 特徴量と重みの両方を正規化して特徴量を超球面上に配置し、固定スケーリングパラメータ s を使用する（64 に設定）。
• LMCLをSoftmax、Normalized Softmax（NSL）、A-Softmaxと比較し、コサイン空間マージンの一貫性と摂動耐性を強調する。
• マージン m の上限下限の理論的分析を提供し、LMCLを超球面特徴空間上での幾何学的解釈を議論する。

Figure 1: An overview of the proposed CosFace framework. In the training phase, the discriminative face features are learned with a large margin between different classes. In the testing phase, the testing data is fed into CosFace to extract face features which are later used to compute the cosine s

実験結果

リサーチクエスチョン

• RQ1 LMCLは角空間で固定コサインマージンを課すことで、以前提案された角度マージンやユークリッドマージンと比較して識別性を改善するのか。
• RQ2 特徴量と重みの共同正規化が訓練ダイナミクスと超球面上の特徴幾何学に与える影響はどうか。
• RQ3 LMCLは標準の顔認識ベンチマーク（LFW、YTF、MegaFace）で最先端の損失関数と比較してどう機能するのか。
• RQ4 実務でのコサインマージンパラメータ m とスケーリング s の選択に対する指針は何か。

主な発見

• LMCLは従来の損失関数と比較して主要ベンチマーク（LFW、YTF、MegaFace）で競争的かつしばしば優れた結果を提供する。
• 特徴正規化と固定スケール s=64 の下で、LMCLはLFW 99.33とYTF 96.1を達成（CASIA-WebFaceを使用した実験）。
• LMCLは報告された比較でYTFとMegaFaceにおいて特徴正規化付きA-Softmaxを上回る。
• CosFaceはLFWとYTFで多くの競合手法を上回り、単一パッチおよびアンサンブル構成を含む強力な一般化を示す。
• 特徴正規化はMegafaceの性能を大幅に向上させることが、報告されたMF1スコア（Rank1および Veri）から示される。
• CosFaceは大規模ベンチマーク実験でLFW (99.73) および YTF (97.6) の最先端を達成する。

Figure 2: The comparison of decision margins for different loss functions the binary-classes scenarios. Dashed line represents decision boundary, and gray areas are decision margins.