[논문 리뷰] Deep Feature Learning via Structured Graph Laplacian Embedding for Person Re-Identification

De Cheng, Yihong Gong외 4명|arXiv (Cornell University)|2017. 07. 25.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 6

한 줄 요약

이 논문은 대조적 손실과 트리플릿 손실 관계를 완전한 그래프 기반 라플라시안 프레임워크로 통합하여, 소프트맥스 손실과 함께 공동 최적화가 가능한 구조화된 그래프 라플라시안 임베딩 방법을 제안한다. 이는 개인 간의 밀도 강화와 개인 내 분산을 유도함으로써 특징의 구분 능력을 향상시키며, ResNet50, DGDNet, AlexNet을 사용한 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning the distance metric between pairs of examples is of great importance for visual recognition, especially for person re-identification (Re-Id). Recently, the contrastive and triplet loss are proposed to enhance the discriminative power of the deeply learned features, and have achieved remarkable success. As can be seen, either the contrastive or triplet loss is just one special case of the Euclidean distance relationships among these training samples. Therefore, we propose a structured graph Laplacian embedding algorithm, which can formulate all these structured distance relationships into the graph Laplacian form. The proposed method can take full advantages of the structured distance relationships among these training samples, with the constructed complete graph. Besides, this formulation makes our method easy-to-implement and super-effective. When embedding the proposed algorithm with the softmax loss for the CNN training, our method can obtain much more robust and discriminative deep features with inter-personal dispersion and intra-personal compactness, which is essential to person Re-Id. We illustrate the effectiveness of our proposed method on top of three popular networks, namely AlexNet, DGDNet and ResNet50, on recent four widely used Re-Id benchmark datasets. Our proposed method achieves state-of-the-art performances.

연구 동기 및 목표

• 사람 재식별에서 큰 외관 및 자세 변화의 과제를 해결하기 위해 딥 특징의 구분 능력을 향상시키는 것.
• 기존의 대조적 손실 및 트리플릿 손실의 한계를 극복하기 위해 통합된 그래프 라플라시안 프레임워크 내에서 모든 쌍 및 삼중 거리 관계를 모델링하는 것.
• 소프트맥스 손실과 함께 공동 최적화하여 개인 간 분산과 개인 내 밀도 강화를 동시에 달성함으로써 특징 학습을 향상시키는 것.
• 시앙세이 또는 트리플릿 네트워크와 달리 복잡한 데이터 재조합이나 추가 메모리가 필요 없이 효율적인 훈련을 가능하게 하는 것.
• 다양한 딥 네트워크 아키텍처와 벤치마크 데이터셋에서 이 방법의 효과성을 입증하는 것.

제안 방법

• 훈련 배치 내 각 특징 벡터를 노드로 하는 N개의 노드를 가진 완전한 그래프를 구축한다.
• 대조적 또는 트리플릿 손실 함수로부터 정의된 거리 관계에 기반해 그래프의 간선 가중치를 정의한다.
• 배치 내 전반적인 군집 및 거리 구조를 캡처하는 정규화 항으로서의 구조화된 그래프 라플라시안 임베딩을 제안한다.
• 단일 네트워크 브랜치 내에서 표준 소프트맥스 교차 엔트로피 손실과 그래프 라플라시안 손실을 통합하여 공동 최적화를 수행한다.
• 데이터 확장이나 추가 메모리가 필요 없이 그래프 라플라시안을 사용해 개인 내 밀도 강화와 개인 간 분리 효과를 유도한다.
• 소프트맥스 손실과 구조화된 그래프 라플라시안 손실의 공동 지도 하에 경사 하강법을 사용해 CNN을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 고립된 대조적 또는 트리플릿 손실보다 통합된 그래프 라플라시안 공식화가 훈련 샘플 간의 구조화된 거리 관계를 더 잘 포괄할 수 있는가?
• RQ2 그래프 라플라시안과 소프트맥스 손실의 공동 최적화가 사람 재식별에서 특징의 구분 능력을 향상시키는가?
• RQ3 다양한 벤치마크에서 제안된 방법이 순위-1 정확도와 mAP 측면에서 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ4 ResNet50, DGDNet, AlexNet과 같은 다양한 CNN 아키텍처에 적용했을 때 이 방법의 영향은 어떠한가?
• RQ5 복잡한 데이터 재조직이나 메모리 오버헤드 없이 표준 CNN 훈련에 그래프 라플라시안 공식화를 쉽게 통합할 수 있는가?

주요 결과

• 제안된 방법은 Market-1501, DukeMTMC, CUHK03, CUHK02 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, ResNet50를 사용해 Market-1501에서 73.2%의 순위-1 정확도와 97.2%의 순위-10 정확도를 기록했다.
• DGDNet 모델에서 이 방법은 Market-1501에서 84.7%의 순위-1 정확도, 97.4%의 순위-5 정확도, 98.9%의 순위-10 정확도를 기록했으며, 베이스라인 소프트맥스보다 각각 2.3%, 1.5%, 0.9% 향상되었다.
• 그래프 라플라시안과 소프트맥스 손실의 공동 학습은 세 가지 네트워크 아키텍처 전반에서 각각의 손실을 별도로 사용하는 것보다 성능 향상이 뚜렷했다.
• t-SNE 시각화 결과, 제안된 방법은 기존 방법에 비해 개인 내 밀도 강화와 개인 간 분리가 훨씬 뛰어난 결과를 보였다.
• 특히 파rameter 수가 많은 대규모 모델인 AlexNet과 ResNet50에서 그래프 라플라시안 정규화를 추가함으로써 과적합을 감소시켰다.
• 배치 전역 트리플릿 손실(BGTL)은 배치 전역 대조적 손실(BGCL)보다 성능이 뛰어나며, 둘의 조합(BGCTL)은 DGDNet에서 2% 향상된 성능을 기록하여 구조화된 거리 모델링의 유용성을 확인했다.