[논문 리뷰] Circle Loss: A Unified Perspective of Pair Similarity Optimization

Yifan Sun, Changmao Cheng외 5명|arXiv (Cornell University)|2020. 02. 25.

Face recognition and analysis참고 문헌 58인용 수 102

한 줄 요약

Circle Loss는 자기 주도형 요소로 유사도 쌍의 가중치를 재조정함으로써 깊은 특징 학습을 위한 통합적이고 유연한 손실을 도입하고, 원형 결정 경계를 형성하여 클래스 수준과 페어-기반 감독 모두의 최적화와 수렴을 개선한다.

ABSTRACT

This paper provides a pair similarity optimization viewpoint on deep feature learning, aiming to maximize the within-class similarity $s_p$ and minimize the between-class similarity $s_n$. We find a majority of loss functions, including the triplet loss and the softmax plus cross-entropy loss, embed $s_n$ and $s_p$ into similarity pairs and seek to reduce $(s_n-s_p)$. Such an optimization manner is inflexible, because the penalty strength on every single similarity score is restricted to be equal. Our intuition is that if a similarity score deviates far from the optimum, it should be emphasized. To this end, we simply re-weight each similarity to highlight the less-optimized similarity scores. It results in a Circle loss, which is named due to its circular decision boundary. The Circle loss has a unified formula for two elemental deep feature learning approaches, i.e. learning with class-level labels and pair-wise labels. Analytically, we show that the Circle loss offers a more flexible optimization approach towards a more definite convergence target, compared with the loss functions optimizing $(s_n-s_p)$. Experimentally, we demonstrate the superiority of the Circle loss on a variety of deep feature learning tasks. On face recognition, person re-identification, as well as several fine-grained image retrieval datasets, the achieved performance is on par with the state of the art.

연구 동기 및 목표

• 기존 손실에서 (s_n - s_p) 최적화의 한계를 분류 및 거리학습 paradigm에서 설명한다.
• 최적화 상태에 따라 그래디언트를 조정하도록 Self-paced 가중치를 갖는 Circle loss를 제안한다.
• 클래스 수준 및 페어-기반 라벨과 호환되는 통합적 형식을 Circle loss가 제공함을 보여준다.
• 얼굴 인식, 재식별, 정밀 이미지 검색에서 실험적으로 개선을 보여준다.

제안 방법

• 적응적이고 비음수 가중치 α_n 및 α_p로 (α_n s_n − α_p s_p)로 페어 유사도 최적화를 재정의한다.
• α_p와 α_n을 Self-paced 항으로 정의: α_p^i = [O_p − s_p^i]_+ 및 α_n^j = [s_n^j − O_n]_+, 여기서 O_p와 O_n은 최적 유사도이다.
• 마진과 여유를 통해 원형 결정 경계를 도출하고 Δ_n 및 Δ_p가 있는 양방향 마진 형태를 얻는다.
• 특별한 경우에서 Circle loss가 트리플렛 손실 또는 분류 손실로 축소됨을 보여주며 통합적 관점을 확립한다.
• s_p와 s_n에 대한 균형 잡히고 점진적으로 약화되는 업데이트를 반영하는 분석적 그래디언트 표현을 제공한다.
• 실험적으로 Circle loss를 얼굴 인식, 재-ID, 정밀 검색에서 견고한 하이퍼파라미터 거동과 함께 검증한다.

실험 결과

연구 질문

• RQ1 가중된 유사도 쌍 최적화가 전통적인 (s_n − s_p) 기반 손실보다 수렴을 개선할 수 있는가?
• RQ2 Self-paced 가중치를 어떻게 Circle loss에 통합하여 클래스 수준과 페어-단위 감독 모두를 지원할 수 있는가?
• RQ3 Circle loss가 얼굴 인식 및 재-ID 같은 작업에서 더 결정적인 수렴 목표와 더 나은 분리성을 제공하는가?
• RQ4 소프트맥스 기반 및 트리플렛 기반 손실과 비교하여 표준 벤치마크에서 Circle loss의 실험적 이득은 무엇인가?

주요 결과

• Circle loss는 얼굴 인식에서 최첨단 손실과 경쟁하거나 우수한 성능을 달성하며, CircleLoss(ours)는 ResNet34로 MegaFace에서 97.81% rank-1 및 98.50% verification을 달성하고, ResNet100으로는 98.12% rank-1 및 98.73% verification을 달성한다.
• 1:1 IJB-C 검증에서 Circle loss는 ResNet34로 96.04% TAR@1e-4 및 93.44% TAR@1e-5를 달성하며 ArcFace를 능가한다.
• Circle loss는 재-ID 지표를 향상시키며 Market-1501(R-1 94.2%, mAP 84.9%, ResNet50 + CircleLoss) 및 MSMT17(R-1 96.1%, mAP 87.4%)에서 성과를 달성한다.
• 정교한 하드 마이닝 기법 없이도 CUB-200-2011, Cars196, Stanford Online Products에서 정밀 검색에 대해 경쟁력 있는 결과를 보여준다.
• 하이퍼파라미터 γ와 m에 대한 방법의 견고성이 확인되며, Circle loss는 광범위한 설정에서 경쟁 기저선보다 일관되게 우수한 성능을 보인다.
• Circle loss의 그래디언트 역학은 원형 결정 경계로 인해 균형 잡히고 점진적으로 약화되는 업데이트와 명확한 수렴 목표를 제공한다.