[論文レビュー] Loss Function Search for Face Recognition

Xiaobo Wang, Shuo Wang+3 more|arXiv (Cornell University)|Jul 10, 2020

Face and Expression Recognition被引用数 29

ひとこと要約

本稿では、ソフトマックス確率の低減が特徴の識別性を向上させることに寄与することを同定することで、顔認識における最適なマージンベースのソフトマックス損失関数の学習のための報酬誘導型探索手法を提案する。著者らは、簡略化された探索空間を有する統一的定式化を導入し、手動で設計された損失関数やAM-LFSなどのAutoML手法を凌駕する効率的な最適化を可能にした。この手法は、MegaFace や Trillion-Pairs を含む複数のベンチマークで検証された。

ABSTRACT

In face recognition, designing margin-based (e.g., angular, additive, additive angular margins) softmax loss functions plays an important role in learning discriminative features. However, these hand-crafted heuristic methods are sub-optimal because they require much effort to explore the large design space. Recently, an AutoML for loss function search method AM-LFS has been derived, which leverages reinforcement learning to search loss functions during the training process. But its search space is complex and unstable that hindering its superiority. In this paper, we first analyze that the key to enhance the feature discrimination is actually extbf{how to reduce the softmax probability}. We then design a unified formulation for the current margin-based softmax losses. Accordingly, we define a novel search space and develop a reward-guided search method to automatically obtain the best candidate. Experimental results on a variety of face recognition benchmarks have demonstrated the effectiveness of our method over the state-of-the-art alternatives.

研究の動機と目的

• 顔認識における成功したマージンベースのソフトマックス損失の背後にある根本的原理を特定すること。特に、ソフトマックス確率の低減に注目する。
• 広大で不安定な設計空間に起因する、熟練した専門家によるチューニングを必要とし、最適でない手動で設計されたヒューリスティック損失関数の限界を克服すること。
• AM-LFS などの既存のAutoML手法の不安定さと複雑さを克服し、より単純で効果的な探索空間を設計すること。
• 訓練中に動的に損失関数のパラメータを最適化する報酬誘導型探索フレームワークを構築し、特徴の識別性を向上させること。
• 人種的バイアスや極めてスケールの大きな認識を測るような、多様で挑戦的な顔認識ベンチマークにおいて、提案手法の有効性を検証すること。

提案手法

• すべてのマージンベースのソフトマックス損失を、ソフトマックス確率を制御する唯一のパラメータに統一する数学的定式化を提案する。
• ソフトマックス確率を制御するためのマージンパラメータを調整することに焦点を当てた、新たな簡素化された探索空間を定義する。これにより、強力な特徴の識別性が保証される。
• ランダム探索ベースラインと、検証性能を報酬信号として用いる報酬誘導型探索戦略を導入し、損失関数のサンプリングをガイドする。
• 各訓練エポックにおいて報酬フィードバックに基づき、損失関数候補の分布を動的に更新する効率的な最適化フレームワークを構築する。
• 微分可能で、エンドツーエンドの訓練が可能であり、手動によるハイパーパrameterチューニングを回避できる、損失関数の適応機構を採用する。
• 学習済みで動的にサンプリングされたマージンパラメータを用いた交差エントロピー損失により、クラス内コンパクト性とクラス間分離性が向上した深層顔認識モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マージンベースのソフトマックス損失が顔認識性能を向上させる根本的メカニズムは何か？
• RQ2 既存のAutoMLアプローチと比較して、安定性と有効性を向上させるために、損失関数探索の設計空間をどのように簡素化できるか？
• RQ3 ソフトマックス確率を明示的に最小化する報酬誘導型探索戦略は、手動設計損失関数やAutoMLベースの損失関数を上回る性能を発揮できるか？
• RQ4 提案手法は、極端なクラス不均衡や人種的バイアスを含む多様な顔認識ベンチマークにどの程度一般化可能か？
• RQ5 ソフトマックス確率の低減は、異なる訓練データ分布において、よりロバストで識別性の高い特徴学習をもたらすか？

主な発見

• 顔認識における特徴の識別性を向上させる鍵は、マージンの増大そのものではなく、ソフトマックス確率の低減にある。
• 提案された Search-Softmax 損失は、CASIA-WebFace-R を用いて MegaFace で 96.97% の Rank-1 精度を達成し、AM-Softmax (96.77%) や AM-LFS (92.51%) を上回った。
• Trillion-Pairs ベンチマークでは、Search-Softmax は CASIA-WebFace-R を用いて訓練した場合、1e-6 のFARにおけるTPRが70.41%に達し、ベースラインのSoftmax損失（68.03%）と比較して4%の向上を示した。
• Caucasian、Indian、Asian、African を含むすべての RFW サブセットで、手動設計損失関数や AM-LFS を常に上回り、人種的バイアスに対して強いロバスト性を示した。
• 報酬誘導型探索戦略はランダム探索を著しく上回り、Trillion-Pairs では Search-Softmax が 68.67% の TPR@FAR=1e-6 を達成したのに対し、Random-Softmax は 68.03% であった。
• 提案手法は一般化性能に優れ、特に極めて低い偽陽性率での識別と検証タスクにおいて、最先端の結果を達成した。