[論文レビュー] Support Vector Guided Softmax Loss for Face Recognition

Xiaobo Wang, Shuo Wang+4 more|arXiv (Cornell University)|Dec 29, 2018

Face recognition and analysis参考文献 38被引用数 44

ひとこと要約

論文は SV-Softmax を導入し、サポートベクター（誤分類サンプル）に焦点を当てることでマイニングベースとマージンベースの損失を融合し、ベンチマーク全体で識別力の高い顔特徴を向上させます。

ABSTRACT

Face recognition has witnessed significant progresses due to the advances of deep convolutional neural networks (CNNs), the central challenge of which, is feature discrimination. To address it, one group tries to exploit mining-based strategies (\textit{e.g.}, hard example mining and focal loss) to focus on the informative examples. The other group devotes to designing margin-based loss functions (\textit{e.g.}, angular, additive and additive angular margins) to increase the feature margin from the perspective of ground truth class. Both of them have been well-verified to learn discriminative features. However, they suffer from either the ambiguity of hard examples or the lack of discriminative power of other classes. In this paper, we design a novel loss function, namely support vector guided softmax loss (SV-Softmax), which adaptively emphasizes the mis-classified points (support vectors) to guide the discriminative features learning. So the developed SV-Softmax loss is able to eliminate the ambiguity of hard examples as well as absorb the discriminative power of other classes, and thus results in more discrimiantive features. To the best of our knowledge, this is the first attempt to inherit the advantages of mining-based and margin-based losses into one framework. Experimental results on several benchmarks have demonstrated the effectiveness of our approach over state-of-the-arts.

研究の動機と目的

• 従来の Softmax 損失を超える顔認識における特徴識別性の改善を動機づける。
• 誤分類例（サポートベクター）を意味的に特定して強調する損失を開発する。
• マイニングベースの損失とマージンベースの損失の強みを統合した統一フレームワークに統合する。
• 既存の損失との関係を分析し、標準ベンチマークでの性能を評価する。

提案手法

• 誤分類クラススコアを示す binary サポートベクター指標 I_k を定義する。
• SV-Softmax 損失を提案する： L_5 = -log[ exp(s cos(theta_w_y,x)) / ( exp(s cos(theta_w_y,x)) + sum_{k≠y} h(t, cos(theta_w_k,x), I_k) exp(s cos(theta_w_k,x)) ) ], ここで h(t,·) = exp(s(t-1)(cos(theta_w_k,x) + 1) I_k)。
• I_k = 0 if cos(theta_w_y,x) - cos(theta_w_k,x) ≥ 0; I_k = 1 otherwise。
• t=1 が標準の Softmax を再現すること、より大きい t がより難しい（サポートベクター）ケースを強調することを示す。
• SV-X-Softmax へ拡張する：マージンベースの判定境界を用いて I_k を決定する（SV-X-Softmax (t) は f(m, theta) 境界を使用）。
• エンドツーエンドの訓練のための勾配ベースの最適化方程式と SGD 訓練手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 誤分類点（サポートベクター）を明示的にターゲットとする損失が、従来のマイニングベース損失（例: F-Softmax）やマージンベース損失（例: Arc-/AM-/A-Softmax）を上回ることができるか。
• RQ2 SV-Softmax フレームワーク内でマイニングベースとマージンベースの動機を組み合わせると、より優れた識別特徴を生み出すか。
• RQ3 SV-Softmax は標準ベンチマーク（LFW、MegaFace、Trillion Pairs）で、マイニングとマージン損失の素朴な融合と比較してどうか。

主な発見

• SV-Softmax は誤分類サンプルを意味的に強調する明示的なサポートベクター基盤の焦点を定義する。
• SV-Softmax は MegaFace および Trillion Pairs ベンチマークで、しばしばベースライン의 Softmax やいくつかのマイニングベース損失を上回る。
• 改良版の SV-Arc-Softmax および SV-AM-Softmax は、非 SV 対向の counterparts と比較して競争力のあるまたは優れた結果を示す。
• MegaFace および Trillion Pairs では SV-AM-Softmax が多くの競合他社に対して notable な利得を達成し、SV-X-Softmax スタイルの境界を使用するとマージンが大きくなる。
• LFW の結果は強力なベースラインに対して控えめな改善を示す一方、より挑戦的なベンチマークでより大きな改善が見られる。