[논문 리뷰] Person Re-identification with Deep Similarity-Guided Graph Neural Network

Yantao Shen, Hongsheng Li외 3명|arXiv (Cornell University)|2018. 07. 26.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 17

한 줄 요약

이 논문은 그래프 구조를 통해 프로브-갤러리 이미지 쌍 간의 상호 관계를 모델링하고, 갤러리-갤러리 유사도 레이블을 사용해 엣지 가중치를 안내함으로써 유사도 추정을 향상시키는 유사도 유도 그래프 신경망(SGGNN)을 제안한다. SGGNN는 끝에서 끝까지 메시지 전달을 가능하게 하여 최적화된 유사도 추정을 실현하며, 공개 벤치마크에서 최신 기준 성능을 달성하여 mAP는 최대 3.6% 향상되고, 상위 1 정확도는 3.0% 향상된다.

ABSTRACT

The person re-identification task requires to robustly estimate visual similarities between person images. However, existing person re-identification models mostly estimate the similarities of different image pairs of probe and gallery images independently while ignores the relationship information between different probe-gallery pairs. As a result, the similarity estimation of some hard samples might not be accurate. In this paper, we propose a novel deep learning framework, named Similarity-Guided Graph Neural Network (SGGNN) to overcome such limitations. Given a probe image and several gallery images, SGGNN creates a graph to represent the pairwise relationships between probe-gallery pairs (nodes) and utilizes such relationships to update the probe-gallery relation features in an end-to-end manner. Accurate similarity estimation can be achieved by using such updated probe-gallery relation features for prediction. The input features for nodes on the graph are the relation features of different probe-gallery image pairs. The probe-gallery relation feature updating is then performed by the messages passing in SGGNN, which takes other nodes' information into account for similarity estimation. Different from conventional GNN approaches, SGGNN learns the edge weights with rich labels of gallery instance pairs directly, which provides relation fusion more precise information. The effectiveness of our proposed method is validated on three public person re-identification datasets.

연구 동기 및 목표

• 기존의 인물 재식별 모델이 프로브-갤러리 쌍을 독립적으로 다루며 상호 관계를 忽略하는 한계를 해결한다.
• 다중 프로브-갤러리 쌍 간의 관계적 의존성을 모델링하여 어려운 양성 및 음성 샘플의 유사도 추정 정확도를 향상시킨다.
• 풍부한 갤러리-갤러리 유사도 레이블을 그래프 학습 과정에 통합하여 보다 효과적인 특징 융합을 유도한다.
• 딥 러닝 파이프라인에 그래프 연산을 통합하여 특징 학습 및 유사도 보정을 끝에서 끝까지 함께 최적화할 수 있도록 한다.
• 관계 모델링을 통해 그래프 네트워크가 최종 랭킹 성능 뿐 아니라 학습된 시각적 특징의 구별 능력 향상에도 기여함을 입증한다.

제안 방법

• 각 노드가 프로브-갤러리 이미지 쌍을 나타내는 그래프를 구축하며, 노드 특징은 쌍별 관계 특징으로 초기화한다.
• 해당 갤러리 이미지의 유사도 점수를 기반으로 노드 간 엣지 가중치를 정의하며, 갤러리-갤러리 쌍에서의 풍부한 지도 정보를 사용한다.
• 이웃 노드로부터 정보를 집계함으로써 노드 표현을 업데이트하기 위해 그래프 전역에서 깊이 있는 메시지 전달을 수행한다.
• 노드 특징와 엣지 가중치를 모두 통합하는 학습 가능한 메시지 집계 함수를 사용하여 관계 표현을 정교화한다.
• 시각적 특징 학습과 그래프 기반 유사도 보정을 동시에 최적화하는 방식으로 전체 SGGNN 프레임워크를 엔드 투 엔드로 훈련한다.
• 갤러리-갤러리 유사도 레이블을 주의 가중치로 사용하여 동적으로 특징 융합을 조정하는 유사도 유도 융합 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 프로브-갤러리 이미지 쌍 간의 상호 관계를 모델링하면 인물 재식별에서 유사도 추정 성능이 향상되는가?
• RQ2 엣지 가중치 학습에 갤러리-갤러리 유사도 레이블을 통합할 경우 그래프 기반 재식별 모델의 성능에 어떤 영향을 미치는가?
• RQ3 관계적 메시지 전달 기반의 그래프 신경망을 엔드 투 엔드로 훈련하면 더 나은 시각적 특징 학습과 랭킹 정확도를 달성할 수 있는가?
• RQ4 mAP와 상위 1 정확도 측면에서 SGGNN은 기존의 GNN 및 후처리 재랭킹 방법에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 그래프 기반 메시지 전달 메커니즘이 어려운 샘플에서의 유사도 추정 정확도 향상에 기여하는가?

주요 결과

• SGGNN는 세 개의 공개 데이터셋에서 최신 기준 성능을 달성하며, 각각 Market-1501, CUHK03, DukeMTMC에서 mAP를 3.6%, 4.1%, 2.2% 향상시켰다.
• 제거 실험 결과, 갤러리-갤러리 지도 정보를 제거한 경우(Base Model + SGGNN w/o SG) Market-1501에서 mAP가 1.6% 감소하여 풍부한 레이블 지도의 중요성을 입증한다.
• SGGNN가 학습한 시각적 특징는 기본 모델 및 기존 GNN보다 뛰어나며, $l_2$ 거리 기반 유사도 추정에서 Market-1501에서 2.1% mAP 향상이 이루어졌다.
• 모델은 하이퍼파라미터 선택에 대해 강건하다: $K=4$일 때 상위 100개를 선택하면 정확도와 효율성의 최적 균형을 이룬다. $K$ 또는 top-$K$ 를 늘릴 경우 계산 비용 증가에 비해 이득은 미미하다.
• 제거 실험 결과, SGGNN의 메시지 전달 메커니즘이 갤러리-갤러리 지도 정보가 없는 모델 대비 상위 1 정확도를 1.7–2.6% 향상시키는 것으로 확인되었다.
• DukeMTMC에서는 상위 1 정확도가 3.0% 향상되었고, CUHK03에서는 mAP가 4.1% 향상되어 복잡한 카메라 간 변형이 많은 어려운 데이터셋에서의 효과를 입증했다.