[논문 리뷰] Dual Attention Matching Network for Context-Aware Feature Sequence based Person Re-Identification

Jianlou Si, Honggang Zhang외 5명|arXiv (Cornell University)|2018. 03. 27.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 76

한 줄 요약

DuATM은 이미지와 비디오 사람 재식별을 위해 맥락 인식 특징 시퀀스를 정교화하고 정렬하는 이중 주의 메커니즘을 도입하여 prior 주의력 및 시퀀스 기반 방법을 능가합니다. 시암쌘/트립렛 학습 설정과 보조 손실을 사용하고 Market-1501, DukeMTMC-reID, 및 MARS에서 최첨단 결과를 산출합니다.

ABSTRACT

Typical person re-identification (ReID) methods usually describe each pedestrian with a single feature vector and match them in a task-specific metric space. However, the methods based on a single feature vector are not sufficient enough to overcome visual ambiguity, which frequently occurs in real scenario. In this paper, we propose a novel end-to-end trainable framework, called Dual ATtention Matching network (DuATM), to learn context-aware feature sequences and perform attentive sequence comparison simultaneously. The core component of our DuATM framework is a dual attention mechanism, in which both intra-sequence and inter-sequence attention strategies are used for feature refinement and feature-pair alignment, respectively. Thus, detailed visual cues contained in the intermediate feature sequences can be automatically exploited and properly compared. We train the proposed DuATM network as a siamese network via a triplet loss assisted with a de-correlation loss and a cross-entropy loss. We conduct extensive experiments on both image and video based ReID benchmark datasets. Experimental results demonstrate the significant advantages of our approach compared to the state-of-the-art methods.

연구 동기 및 목표

• Appearance variations 및 가려짐으로 인한 단일 피처 벡터 ReID 표현의 한계 동기 부여.
• Context-aware 피처 시퀀스를 학습하고 주의적 시퀀스 매칭을 수행하는 엔드-투-엔드 프레임워크 제안.
• intra-시퀀스 특징을 정제하고 inter-시퀀스 쌍을 정렬하는 이중 주의 메커니즘 도입.
• 이미지 및 비디오 ReID 벤치마크에서 성능 향상을 시현하기 위한 최신 방법 대비 평가.

제안 방법

• DenseNet-121 백본(이미지) 또는 DenseNet-121 플러스 양방향 시간 모델링(비디오)을 사용하여 이미지/비디오에서 특징 시퀀스 추출.
• 쌍의 각 피처에 대해 intra-시퀀스 정제와 inter-시퀀스 정렬을 수행하는 이중 주의 블록 적용.
• 정제되고 정렬된 피처 간의 쌍별 거리를 계산하고 이를 전체 시퀀스 거리로 집계.
• 삼중 손실을 포함한 시암쌘 학습으로 네트워크를 학습하고, 응집도와 판별가능성을 높이기 위해 상관-분리 및 교차 엔트로피 보조 손실 추가.
• 훈련 데이터 불균형 해결을 위한 데이터 증강 및 하드 트리플릿 마이닝 사용.
• SGD로 최적화하고 DenseNet 미세조정, CMC 및 mAP 지표로 평가.

실험 결과

연구 질문

• RQ1 이중 intra-시퀀스 정제와 inter-시퀀스 정렬이 ReID에서 특징 시퀀스의 정렬 불일치 및 잡음에 대한 강건성을 개선할 수 있는가?
• RQ2 보조 손실(상관-분리 및 교차 엔트로피)이 맥락 인식 시퀀스 표현에 실제 향상을 제공하는가?
• RQ3 DuATM은 이미지 기반 및 비디오 기반 ReID 벤치마크에서 최신 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 시퀀스 길이, 특징 차원, 학습 매개변수가 성능에 어떠한 영향을 미치는가?

주요 결과

방법	R1	mAP
Market-1501: DuATM (보고된)	91.42	76.62
DukeMTMC-reID: DuATM (보고된)	81.82	64.58
MARS: DuATM (보고된)	78.74	62.26

• intra- 및 inter-시퀀스 주의가 모두 포함된 DuATM은 AvePool+ 기준선보다 Market-1501, DukeMTMC-reID 및 MARS에서 우수하다.
• 상관-분리 및 교차 엔트로피 손실을 추가하면 추가 이득이 있으며, 교차 엔트로피는 아이덴티티 감독으로 인해 상당한 향상을 제공한다.
• Abalation 결과, 이중 주의(Intra- 및 Inter- 주의 모두)가 단일 주의 유형을 사용하는 것보다 우수하다.
• DuATM은 Market-1501(R1 91.42, mAP 76.62), DukeMTMC-reID(R1 81.82, mAP 64.58), MARS(R1 78.74, mAP 62.26)에서 최고 성능을 달성한다.
• 비디오 시퀀스 길이 T가 MARS에서 mAP를 크게 향상시키며, 예를 들어 T=1에서 21.87%에서 T=96에서 59.42%로 증가한다.
• 시각화 결과, intra-시퀀스 주의는 맥락적 신체 부위에 집중하고 inter-시퀀스 주의는 시퀀스 간 의미적으로 일관된 부위를 맞춘다.