[논문 리뷰] Hard negative examples are hard, but useful

Hong Xuan, Abby Stylianou외 2명|arXiv (Cornell University)|2020. 07. 24.

Face recognition and analysis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 삼중항 손실 학습에서 하드 네거티브 예제—양성 예제보다 앵커와 더 유사한 네거티브 예제—가 최적화 실패를 일으키는 이유를 밝혀내며, 이는 유사한 임bedding을 함께 끌어당기는 잘못된 그래디언트 업데이트 때문임을 규명한다. 이를 바탕으로 특징 정규화를 고려한 그래디언트 흐름을 수정하는 수정된 손실 함수를 제안하여, 하드 네거티브 예제를 안정적으로 학습시킬 수 있게 하고, CUB-200-2011 및 스탠포드 카스와 같은 내부 클래스 분산이 큰 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Triplet loss is an extremely common approach to distance metric learning. Representations of images from the same class are optimized to be mapped closer together in an embedding space than representations of images from different classes. Much work on triplet losses focuses on selecting the most useful triplets of images to consider, with strategies that select dissimilar examples from the same class or similar examples from different classes. The consensus of previous research is that optimizing with the extit{hardest} negative examples leads to bad training behavior. That's a problem -- these hardest negatives are literally the cases where the distance metric fails to capture semantic similarity. In this paper, we characterize the space of triplets and derive why hard negatives make triplet loss training fail. We offer a simple fix to the loss function and show that, with this fix, optimizing with hard negative examples becomes feasible. This leads to more generalizable features, and image retrieval results that outperform state of the art for datasets with high intra-class variance.

연구 동기 및 목표

• 딥 메트릭 러닝에서 하드 네거티브 삼중항을 최적화할 경우 훈련 행동이 악화되는 이유를 진단하는 것.
• 특히 정규화된 임베딩 공간에서 하드 네거티브 예제를 사용할 때 삼중항 손실의 최적화 실패의 근본 원인을 이해하는 것.
• 유사한 임베딩이 서로 끌어당기는 것을 방지하기 위해 그래디언트 업데이트를 수정하는 수정된 손실 함수를 제안하는 것.
• 수정된 손실 함수를 사용해 하드 네거티브 예제를 훈련할 경우 일반화 성능 향상과 도전적인 데이터셋에서 최신 기준 성능 달성 여부를 입증하는 것.

제안 방법

• 앵커-양성 (S_ap) 및 앵커-네거티브 (S_an) 유사도를 플로팅함으로써 삼중항 분포를 특성화하는 시각화 도구로 삼중항 다이어그램을 도입한다.
• 정규화된 임베딩 공간에서의 그래디언트 흐름을 분석하여, 표준 삼중항 손실이 역전파 중 정규화를 고려하지 않아 그래디언트 손실과 잘못된 업데이트를 유도함을 보여준다.
• 특히 S_an > S_ap인 하드 네거티브 삼중항에서 원하는 최적화 방향을 유지하는 수정된 그래디언트 업데이트를 유도한다.
• 네거티브 예제가 매우 유사하더라도 앵커에 가까워지지 않도록 그래디언트를 조정하는 수정된 삼중항 손실 함수를 제안한다.
• 정규화를 고려한 그래디언트 보정을 통해, 초기에 임베딩 공간에서 가까운 서로 다른 클래스의 임베딩이 떨어지도록 보장한다.
• 대조적 훈련과 하드 네거티브 마이닝(SCT)을 사용해 CUB-200-2011 및 스탠포드 카스 데이터셋에서 방법을 검증하고, 표준 하드 네거티브 마이닝(SHN)과 비교한다.

실험 결과

연구 질문

• RQ1 하드 네거티브 삼중항은 메트릭 러닝에 가장 유용한 정보를 제공함에도 불구하고, 왜 표준 삼중항 손실 훈련에서 최적화 실패를 일으키는가?
• RQ2 딥 메트릭 러닝에서 특징 정규화가 역전파 중 그래디언트 업데이트를 어떻게 왜곡하는가, 특히 하드 네거티브 예제에서?
• RQ3 그래디언트 흐름을 수정하고, 네거티브 임베딩이 앵커 쪽으로 끌려오지 않도록 하기 위해 삼중항 손실 함수에 어떤 특정 수정이 필요한가?
• RQ4 수정된 그래디언트를 사용해 하드 네거티브 예제를 훈련하면, 내부 클래스 분산이 큰 데이터셋에서 더 나은 일반화와 성능을 달성할 수 있는가?

주요 결과

• 표준 삼중항 손실은 정규화 효과가 역전파 중에 발생함에 따라, 잘못된 그래디언트 업데이트로 인해 유사한 임베딩(앵커와 네거티브)이 서로 가까워지게 되어 하드 네거티브 예제를 최적화하지 못한다.
• 제안된 그래디언트 보정은 이 문제를 방지하여, 초기에 임베딩 공간에서 가까이 있는 서로 다른 클래스의 임베딩이 떨어지도록 보장한다.
• 수정된 손실 함수는 하드 네거티브 마이닝을 안정적으로 학습시킬 수 있게 하여, 이전에 보고된 초기 훈련 단계에서 악성 국소 최소값 문제를 제거한다.
• CUB-200-2011 데이터셋에서, 이 방법은 평균 평균 정밀도(mAP) 89.7%를 달성하여 이전 최신 기준보다 1.2% 포인트 높은 성능을 기록한다.
• 스탠포드 카스 데이터셋에서는 mAP 92.4%를 기록하여 이전 최신 기준보다 1.5% 포인트 높은 성능을 달성한다.
• 시각화 결과는 수정된 손실로 학습된 특징이 비디오의 구분 가능한 부분(예: 헤드라이트)에 더 집중되어 있음을 보여주며, 표준 훈련과 달리 미리 보지 않은 클래스로의 일반화 성능을 향상시킨다.