[논문 리뷰] Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification

Shengcai Liao, Ling Shao|arXiv (Cornell University)|2021. 04. 04.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 9

한 줄 요약

이 논문은 사람 재식별을 위한 딥 메트릭 학습에서의 새로운 미니배치 샘플링 방법인 그래프 샘플링(GS)을 제안한다. GS는 각 에포크의 시작 시 클래스 간에 최근접 이웃 그래프를 구성하여 학습에 유용한, 어려운, 유사한 클래스들을 선택한다. 클래스와 그 상위-k개의 최근접 이웃을 샘플링함으로써 모델의 일반화 능력을 향상시키고 학습 시간을 크게 단축시킨다. 랜드퍼스(8,000명의 신원)에서 학습할 경우 MSMT17에서 25.1%의 Rank-1 성능 향상을 기록하였고, MSMT17에서 학습할 경우 CUHK03-NP에서 6.8%의 성능 향상을 기록하였으며, 학습 시간은 25.4시간에서 2시간으로 감소하였다.

ABSTRACT

Recent studies show that, both explicit deep feature matching as well as large-scale and diverse training data can significantly improve the generalization of person re-identification. However, the efficiency of learning deep matchers on large-scale data has not yet been adequately studied. Though learning with classification parameters or class memory is a popular way, it incurs large memory and computational costs. In contrast, pairwise deep metric learning within mini batches would be a better choice. However, the most popular random sampling method, the well-known PK sampler, is not informative and efficient for deep metric learning. Though online hard example mining has improved the learning efficiency to some extent, the mining in mini batches after random sampling is still limited. This inspires us to explore the use of hard example mining earlier, in the data sampling stage. To do so, in this paper, we propose an efficient mini-batch sampling method, called graph sampling (GS), for large-scale deep metric learning. The basic idea is to build a nearest neighbor relationship graph for all classes at the beginning of each epoch. Then, each mini batch is composed of a randomly selected class and its nearest neighboring classes so as to provide informative and challenging examples for learning. Together with an adapted competitive baseline, we improve the state of the art in generalizable person re-identification significantly, by 25.1% in Rank-1 on MSMT17 when trained on RandPerson. Besides, the proposed method also outperforms the competitive baseline, by 6.8% in Rank-1 on CUHK03-NP when trained on MSMT17. Meanwhile, the training time is significantly reduced, from 25.4 hours to 2 hours when trained on RandPerson with 8,000 identities. Code is available at https://github.com/ShengcaiLiao/QAConv.

연구 동기 및 목표

• 사람 재식별을 위한 대규모 딥 메트릭 학습에서 랜덤 샘플링의 비효율성을 해결하기 위해.
• 학습 파이pline의 초기 단계에서 어려운, 의미적으로 유사한 예제를 통합함으로써 모델의 일반화 능력을 향상시키기 위해.
• 기존의 전체 특징 메모리나 랜덤 샘플링에 의존하는 방법들과 비교해 학습 시간과 계산 비용을 줄이기 위해.
• 과도한 메모리 오버헤드 없이 랜드퍼스(8,000명의 신원)와 같은 대규모 데이터셋에서 확장 가능하고 효율적인 학습을 가능하게 하기 위해.

제안 방법

• 학습 에포크의 시작 시 특징 임bedding를 사용해 모든 클래스 간에 최근접 이웃 그래프를 구성한다.
• 각 미니배치에서 랜덤으로 하나의 앵커 클래스를 선택하고, 그래프 기반으로 상위-k개의 최근접 이웃 클래스를 샘플링한다.
• 선택된 각 클래스에서 K개의 이미지를 샘플링하여 미니배치를 구성함으로써 내부 배치 유사도와 도전도를 보장한다.
• 경계 예제에 집중하는 하드 트리플릿 손실을 사용해 쌍별 메트릭 학습을 수행한다.
• 거리 계산에 각 클래스에서 한 개의 샘플만 사용함으로써 그래프 구축 비용을 제한하여 계산 오버헤드를 줄인다.
• 경쟁력 있는 베이스라인 모델(예: QAConv)과 GS를 통합하여 성능과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 구조적 샘플링을 통한 조기 어려운 예제 마이닝이 사람 재식별에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 랜덤 샘플링(예: PK 샘플러)과 비교했을 때 그래프 기반 샘플링은 학습 효율성과 모델 정확도 측면에서 어떻게 다른가?
• RQ3 그래프 샘플링은 대규모 데이터셋에서 성능을 유지하거나 향상시키면서도 학습 시간을 줄일 수 있는가?
• RQ4 의미적으로 유사한 클래스를 샘플링하면 특징의 분류 능력 향상과 도메인 이동에 대한 강건성이 향상되는가?

주요 결과

• 제안된 그래프 샘플링(GS) 방법은 8,000명의 신원을 가진 랜드퍼스에서 학습할 경우 학습 시간을 25.4시간에서 2시간으로 단축시켰다.
• 랜드퍼스에서 학습했을 때 MSMT17에서 Rank-1 정확도가 25.1% 향상되어 새로운 최고 성능을 기록하였다.
• MSMT17에서 학습했을 때 CUHK03-NP에서 Rank-1 정확도가 6.8% 향상되었으며, 경쟁 베이스라인을 능가하였다.
• 시각화 결과 GS가 효과적으로 어려운, 시각적으로 유사한 클래스(예: 유사한 옷, 색상, 액세서리)를 식별함을 확인하였다. 이러한 클래스들은 모델의 분류 능력을 향상시킨다.
• GS로 학습된 모델는 시간이 지남에 따라 배경의 간섭을 무시하고 옷 스타일과 색상과 같은 신원 관련 특징에 집중하는 경향을 보였다.
• 초기 샘플링 비용이 높지만, 기존 베이스라인 방법(60+ 에포크)과 비교해 필요한 학습 에포크 수를 일반적으로 20 이내로 줄여 비용을 상쇄할 수 있었다.