[論文レビュー] Circle Loss: A Unified Perspective of Pair Similarity Optimization

Yifan Sun, Changmao Cheng+5 more|arXiv (Cornell University)|Feb 25, 2020

Face recognition and analysis参考文献 58被引用数 102

ひとこと要約

Circle Loss は、自己-paced の因子で類似度ペアを再重み付けすることにより深層特徴学習のための統一的で柔軟な損失を導入し、円形の意思決定境界を生み出すことで、クラスレベルとペア単位の監視の最適化と収束を改善します。

ABSTRACT

This paper provides a pair similarity optimization viewpoint on deep feature learning, aiming to maximize the within-class similarity $s_p$ and minimize the between-class similarity $s_n$. We find a majority of loss functions, including the triplet loss and the softmax plus cross-entropy loss, embed $s_n$ and $s_p$ into similarity pairs and seek to reduce $(s_n-s_p)$. Such an optimization manner is inflexible, because the penalty strength on every single similarity score is restricted to be equal. Our intuition is that if a similarity score deviates far from the optimum, it should be emphasized. To this end, we simply re-weight each similarity to highlight the less-optimized similarity scores. It results in a Circle loss, which is named due to its circular decision boundary. The Circle loss has a unified formula for two elemental deep feature learning approaches, i.e. learning with class-level labels and pair-wise labels. Analytically, we show that the Circle loss offers a more flexible optimization approach towards a more definite convergence target, compared with the loss functions optimizing $(s_n-s_p)$. Experimentally, we demonstrate the superiority of the Circle loss on a variety of deep feature learning tasks. On face recognition, person re-identification, as well as several fine-grained image retrieval datasets, the achieved performance is on par with the state of the art.

研究の動機と目的

• 従来の分類およびメトリクス学習パラダイムにおける(s_n - s_p) の最適化の制限を説明する。
• 自己ペース重み付けを用いた Circle Loss を提案し、最適化状況に基づく勾配を適応させる。
• Circle Loss がクラスレベルおよびペアワイズラベルと互換性のある統一的な定式化を提供することを示す。
• 顔認識、再識別、微細な画像検索での経験的改善を示す。

提案手法

• ペア類似度の最適化を adaptive で非負の重み α_n および α_p を用いて (α_n s_n − α_p s_p) に再定式化する。
• α_p および α_n を自己ペース項として定義する： α_p^i = [O_p − s_p^i]_+ および α_n^j = [s_n^j − O_n]_+、ここで O_p および O_n は最適な類似度である。
• マージンと緩和から円形の意思決定境界を導出し、Δ_n および Δ_p を用いた両側マージン定式化を得る。
• Circle loss が特別なケースでトリプレット損失または分類損失へ縮退することを示し、統一的な視点を確立する。
• s_p および s_n への更新をバランスのとれた、徐々に減衰する形で反映する解析的勾配式を提供する。
• 経験的に Circle loss を顔認識、再識別、および微細な検索で検証可能性の高いハイパーパラメータ挙動を持つことを検証する。

実験結果

リサーチクエスチョン

• RQ1 weighted な類似度ペア最適化は従来の (s_n − s_p) ベースの損失より収束を改善できるか？
• RQ2 自己ペース重み付けを Circle loss に統一的に組み込み、クラスレベルとペアワイズ監視の両方をサポートできるか？
• RQ3 Circle loss は顔認識や再識別などのタスクでより明確な収束ターゲットと分離性を提供するか？
• RQ4 Softmax ベースおよびトリプレットベースの損失と比較して、標準ベンチマーク上で Circle loss の経験的利得はどれくらいか？

主な発見

Loss function	Rank 1 (R34)	Rank 1 (R100)	Veri. (R34)	Veri. (R100)
Softmax	92.36	95.04	92.72	95.16
NormFace	92.62	95.27	92.91	95.37
AM-Softmax	97.54	98.31	97.64	98.55
ArcFace	97.68	98.36	97.70	98.58
CircleLoss (ours)	97.81	98.50	98.12	98.73

• Circle loss は顔認識で最先端の損失と競合・優位な性能を達成し、CircleLoss (ours) は MegaFace で ResNet34 を用いた場合 rank-1 97.81%、検証 98.50%、ResNet100 では rank-1 98.12%、検証 98.73% を達成した。
• 1:1 IJB-C 検証では Circle loss with ResNet34 が 96.04% TAR@1e-4、93.44% TAR@1e-5 を達成し、ArcFace を上回った。
• Circle loss は re-ID 指標を改善し、Market-1501 (ResNet50 + CircleLoss) で 94.2% R-1、84.9% mAP、MSMT17 で 96.1% R-1、87.4% mAP を達成した。
• 微細な検索において Circle loss は CUB-200-2011、Cars196、Stanford Online Products の各データセットで複雑なハードミニング技法を用いなくても競争力のある結果を示した。
• この方法は γ および m に対するハイパーパラメータに対して頑健であり、Circle loss はさまざまな設定範囲で競合的なベースラインを一貫して上回ることを示した。
• Circle loss の勾配動態は、円形の意思決定境界により、バランスの取れた、徐々に減衰する更新と明確な収束ターゲットを提供する。