[論文レビュー] AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations

Xiao Zhang, Rui Zhao+3 more|arXiv (Cornell University)|May 1, 2019

Face recognition and analysis参考文献 44被引用数 27

ひとこと要約

この論文では、予測分類確率を角マージンと整合させるようにログitを自己調整的にスケーリングする、ハイパーパramータフリーのコサインベースのソフトマックス損失AdaCosを提案する。トレーニング中にスケールパラメータを動的に調整することで、手動チューニングを必要とせず安定的かつ効果的な最適化が可能となり、深層顔認識の表現学習が向上する。LFW、MegaFace、IJB-Cベンチマークにおいて最先端の性能を達成している。

ABSTRACT

The cosine-based softmax losses and their variants achieve great success in deep learning based face recognition. However, hyperparameter settings in these losses have significant influences on the optimization path as well as the final recognition performance. Manually tuning those hyperparameters heavily relies on user experience and requires many training tricks. In this paper, we investigate in depth the effects of two important hyperparameters of cosine-based softmax losses, the scale parameter and angular margin parameter, by analyzing how they modulate the predicted classification probability. Based on these analysis, we propose a novel cosine-based softmax loss, AdaCos, which is hyperparameter-free and leverages an adaptive scale parameter to automatically strengthen the training supervisions during the training process. We apply the proposed AdaCos loss to large-scale face verification and identification datasets, including LFW, MegaFace, and IJB-C 1:1 Verification. Our results show that training deep neural networks with the AdaCos loss is stable and able to achieve high face recognition accuracy. Our method outperforms state-of-the-art softmax losses on all the three datasets.

研究の動機と目的

• 顔認識における既存のコサインベースのソフトマックス損失が示す不安定さとハイパーパramータチューニングへの感受性を解消すること。
• スケールおよびマージンパラメータがコサインベースの損失における分類確率予測に与える影響を分析すること。
• 訓練の監視を向上させ、一般化性能を向上させるために、スケーリングを自動で適応させる損失関数を開発すること。
• 手動によるハイパーパramータチューニングを排除しながら、大規模顔データセットにおける認識精度を維持または向上させること。

提案手法

• クラス数と特徴量の角分布に基づいてスケールパラメータを動的に調整する、新しいコサインベースのソフトマックス損失AdaCosを提案する。
• 正しいクラスの予測確率が真のコサイン類似度を反映するように保証する、自己適応的なスケールパラメータ$\tilde{s}_d^{(t)}$を導入する。
• トレーニング中にクラス間およびクラス内角マージンのバランスを維持するために、スケールパラメータを解析的に導出する。
• 特徴量の正規化と修正された交差エントロピー損失を用いて、角マージンを最適化しながらコサイン類似度の幾何的解釈を保持する。
• 反復的チューニングを回避し、計算負荷を低減するため、スケールパラメータの閉形式解を採用する。
• 組み込み演算を用いて標準的なディープラーニングフレームワークにシームレスに統合可能であり、容易なデプロイメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 コサインベースの損失におけるスケールおよびマージンハイパーパラメータは、分類確率予測にどのように影響を与えるか？
• RQ2 なぜ既存のコサインベースの損失は、広範なハイパーパラメータチューニングを必要とし、トレーニングの不安定さを引き起こすのか？
• RQ3 スケールパラメータをトレーニング中に自動で適応させることで、監視の質と認識性能を向上させられるか？
• RQ4 自己適応スケーリング機構は、深層顔認識における一般化性能および収束性を向上させるか？

主な発見

• AdaCosはLFWベンチマークで、ArcFace や CosFace などの既存損失を上回る最先端の性能を達成した。
• MegaFace 1Mの識別ベンチマークでは、同じトレーニングデータとネットワークアーキテクチャを用いても、すべての比較損失、特にArcFace や CosFace よりも高い精度を達成した。
• IJB-C 1:1検証プロトコルにおいて、動的AdaCosは10^-7の偽受容率（FAR）で99.06%の真受容率（TAR）を達成し、ArcFace や他のSOTA手法を上回った。
• 動的AdaCosバージョンは、IJB-Cで10^-6のFARにおいて83.28%のTARを達成し、固定AdaCosおよび他の損失を上回った。
• AdaCosのトレーニングは、手動によるハイパーパラメータチューニングが不要なにもかかわらず、ベースライン損失よりも高速かつ安定して収束した。
• 提案された自己適応スケールパラメータは、予測確率をコサイン類似度の幾何的意味と効果的に一致させ、トレーニングと推論のギャップを低減した。