[논문 리뷰] In Defense of the Triplet Loss Again: Learning Robust Person Re-Identification with Fast Approximated Triplet Loss and Label Distillation

Ye Yuan, Wuyang Chen외 2명|arXiv (Cornell University)|2019. 12. 17.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 9

한 줄 요약

이 논문은 표준 삼중손실의 선형 복잡도 대체제인 빠른 근사 삼중손실(Fast-Approximated Triplet, FAT) 손실을 제안한다. 이는 점 대 점 거리 대신 점 대 집합 거리를 사용하고 클러스터 밀도를 강화함으로써 사람 재식별(person re-identification)에 대해 제안한다. 또한 노이즈가 있는 레이블에 대한 강건성을 향상시키기 위해 소프트 가짜 레이블을 사용한 레이블 디스틸레이션을 도입하여, Market-1501, DukeMTMC-reID, MSMT17에서 최신 기술 수준의 정확도와 직접 전이 성능을 달성한다.

ABSTRACT

The comparative losses (typically, triplet loss) are appealing choices for learning person re-identification (ReID) features. However, the triplet loss is computationally much more expensive than the (practically more popular) classification loss, limiting their wider usage in massive datasets. Moreover, the abundance of label noise and outliers in ReID datasets may also put the margin-based loss in jeopardy. This work addresses the above two shortcomings of triplet loss, extending its effectiveness to large-scale ReID datasets with potentially noisy labels. We propose a fast-approximated triplet (FAT) loss, which provably converts the point-wise triplet loss into its upper bound form, consisting of a point-to-set loss term plus cluster compactness regularization. It preserves the effectiveness of triplet loss, while leading to linear complexity to the training set size. A label distillation strategy is further designed to learn refined soft-labels in place of the potentially noisy labels, from only an identified subset of confident examples, through teacher-student networks. We conduct extensive experiments on three most popular ReID benchmarks (Market-1501, DukeMTMC-reID, and MSMT17), and demonstrate that FAT loss with distilled labels lead to ReID features with remarkable accuracy, efficiency, robustness, and direct transferability to unseen datasets.

연구 동기 및 목표

• 대규모 사람 재식별에서 표준 삼중손실의 높은 계산 비용을 해결한다.
• 실제 ReID 데이터셋에서의 레이블 노이즈와 이방성 요소에 대한 강건성을 향상시킨다.
• 하드 샘플 마이닝 없이도 효율적이고 확장 가능한 학습을 가능하게 하면서도 마진 기반 손실의 효과성을 유지한다.
• 디스틸레이션된 소프트 레이블을 사용하여 미리보지 않은 데이터셋으로의 직접 전이 가능성을 입증한다.

제안 방법

• 표준 삼중손실의 엄밀한 상한선으로서 FAT 손실을 유도하여, 점 대 점 거리 대신 점 대 클러스터 중심 거리를 사용한다.
• 정체성 클러스터의 조밀함을 강화하기 위해 클러스터 밀도 정규화 항을 도입함으로써 일반화 성능을 향상시킨다.
• 신뢰도가 높은 예시들로부터 소프트 가짜 레이블을 생성하기 위해 디스틸레이션 네트워크를 설계한다. 이는 노이즈가 많은 하드 레이블의 영향을 줄인다.
• 선생-학생 학습을 사용한다: 선생 네트워크가 신뢰도가 높은 샘플의 부분집합에서 소프트 레이블을 생성하고, 이를 기반으로 학생 네트워크를 학습시킨다.
• 교차엔트로피 손실과 FAT 손실 양쪽에서 원-핫 레이블을 소프트 레이블로 대체하고, 레이블 신뢰도에 따라 기울기를 재가중한다.
• 성능 향상과 일반화 능력 향상을 위해 batchNeg 또는 ctrdAll 샘플링 전략을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 랭킹 기반 학습 목표를 유지하면서도 계산 비용이 낮은 삼중손실의 대체 기법을 유도할 수 있는가?
• RQ2 점 대 점 거리 계산을 점 대 집합 거리 계산으로 대체함으로써 학습 복잡도를 낮추면서도 성능을 유지할 수 있는가?
• RQ3 소프트 가짜 레이블을 사용한 레이블 디스틸레이션은 대규모 ReID 데이터셋에서 노이즈가 많은 레이블의 부정적 영향을 완화시킬 수 있는가?
• RQ4 FAT 손실과 레이블 디스틸레이션의 조합이 도메인 내 정확도와 제로샷 전이 성능을 모두 향상시킬 수 있는가?
• RQ5 제안된 방법은 레이블 노이즈 수준이 다양한 다양한 ReID 벤치마크에서 강건한가?

주요 결과

• FAT 손실은 학습 데이터셋 크기에 대해 선형 복잡도를 가지며, 표준 삼중손실에 비해 훨씬 빠른 학습 시간을 확보한다.
• Market-1501에서, batchNeg를 사용한 CE-FAT는 ResNet50로 학습된 모든 이전 최신 기술 수준의 손실보다 뛰어난 성능을 달성한다.
• DenseNet161를 사용할 경우, CE-FAT는 Market-1501에서 최신 기술 수준의 성능을 달성하며, 도메인 어댑티이션 기법인 Cycle-GAN을 초월하여 DukeMTMC-reID로의 직접 전이 성능을 뛰어나게 한다.
• MSMT17에서, batchNeg를 사용한 CE-FAT는 도메인 어댑티이션 없이도 이전에 보고된 최신 기술 수준의 성능을 초월한다.
• 소프트 퍼centile 방법을 사용한 레이블 디스틸레이션은 하드 방법과 전체 데이터셋 학습보다 뛰어난 전이 성능을 보인다.
• CE-FAT-distillation은 MSMT17에서 DukeMTMC-reID로의 직접 전이 성능에서 최신 기술 수준을 달성하며, 타겟 도메인 미세조정 없이도 HHL 도메인 어댑티이션을 초월한다.