[논문 리뷰] Semantics-Aligned Representation Learning for Person Re-identification

Xin Jin, Cuiling Lan외 3명|arXiv (Cornell University)|2019. 05. 30.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 11

한 줄 요약

이 논문은 디코더 헤드를 통해 조밀하고 의미적으로 정렬된 텍스처 이미지를 생성하도록 네트워크를 훈련시키면서 동시에 reID를 공동 최적화하는 의미 정렬 표현 학습 프레임워크를 제안한다. 이 방법은 유사한 데이터셋에서 생성된 가짜 진짜 텍스처 이미지와 삼중 체인 제약 조건을 시각적 손실로 사용하여 추론 오버헤드 없이 CUHK03, Market1501, MSMT17 및 Partial REID에서 최고 성능을 달성한다.

ABSTRACT

Person re-identification (reID) aims to match person images to retrieve the ones with the same identity. This is a challenging task, as the images to be matched are generally semantically misaligned due to the diversity of human poses and capture viewpoints, incompleteness of the visible bodies (due to occlusion), etc. In this paper, we propose a framework that drives the reID network to learn semantics-aligned feature representation through delicate supervision designs. Specifically, we build a Semantics Aligning Network (SAN) which consists of a base network as encoder (SA-Enc) for re-ID, and a decoder (SA-Dec) for reconstructing/regressing the densely semantics aligned full texture image. We jointly train the SAN under the supervisions of person re-identification and aligned texture generation. Moreover, at the decoder, besides the reconstruction loss, we add Triplet ReID constraints over the feature maps as the perceptual losses. The decoder is discarded in the inference and thus our scheme is computationally efficient. Ablation studies demonstrate the effectiveness of our design. We achieve the state-of-the-art performances on the benchmark datasets CUHK03, Market1501, MSMT17, and the partial person reID dataset Partial REID. Code for our proposed method is available at: https://github.com/microsoft/Semantics-Aligned-Representation-Learning-for-Person-Re-identification.

연구 동기 및 목표

• 자세 변화, 시점 변화 및 가림으로 인해 발생하는 사람 재식별에서의 의미적 불일치 문제를 해결하기 위해.
• 추론 복잡도를 증가시키지 않으면서도 이미지 간에 공간적이고 의미적으로 정렬된 특징 표현을 학습하기 위해.
• 특징 학습을 위한 지도 신호로 조밀하고 의미적으로 정렬된 텍스처 이미지를 생성하기 위해.
• 기존의 재식별 데이터셋에서 실제 정렬된 텍스처 이미지 레이블의 부족을 보완하기 위해.
• 더 나은 특징 정렬을 통해 표준 및 부분 사람 재식별 벤치마크 성능을 향상시키기 위해.

제안 방법

• 재식별을 위한 기초 인코더(SA-Enc)와 의미 정렬 텍스처 이미지를 생성하기 위한 디코더(SA-Dec)로 구성된 의미 정렬 네트워크(SAN)를 제안한다.
• 디코더는 유사한 데이터셋에서 생성된 가짜 진짜 텍스처 이미지를 사용하여 복원 손실로 훈련된다.
• 디코더의 특징 맵에 삼중 체인 재식별 제약 조건을 적용하여 의미 일관성을 유도하는 시각적 손실로 사용한다.
• 추론 시 디코더는 폐기되므로 계산 오버헤드가 없다.
• 모델은 사람 재식별 손실(ID 및 삼중 체인)과 텍스처 복원 손실을 함께 훈련한다.
• 가짜 진짜 텍스처 이미지는 쌍으로 구성된 사람 이미지와 그에 해당하는 표준 UV 와이프 텍스처를 사용하여 합성된다.

실험 결과

연구 질문

• RQ1 재식별과 의미적으로 정렬된 텍스처 생성을 함께 학습하는 것이 사람 재식별의 특징 표현 학습을 향상시키는가?
• RQ2 디코더 특징 맵에 삼중 체인 제약 조건을 통한 시각적 지도를 도입하면 특징 정렬이 향상되는가?
• RQ3 쌍으로 구성된 이미지와 정렬된 텍스처로 구성된 합성 데이터셋이 의미적으로 정렬된 특징의 학습을 효과적으로 지도할 수 있는가?
• RQ4 제안된 방법이 도전적인 부분 사람 재식별 시나리오에 일반화되는가?
• RQ5 추론 비용을 증가시키지 않으면서도 이 프레임워크가 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 SAN은 CUHK03에서 최고 성능을 기록하며, 랭크-1 정확도 80.1%와 mAP 76.4%를 달성한다.
• Market1501에서 SAN은 랭크-1 96.1%와 mAP 88.0%를 기록하여 이전 최고 성능 방법을 능가한다.
• MSMT17에서 SAN은 mAP 87.9%를 기록하여 대규모 데이터셋에 대한 강력한 일반화 능력을 보여준다.
• Partial REID 데이터셋에서 SAN은 랭크-1 정확도 39.7%를 기록하여 기준 모델보다 5.8% 높다.
• Market1501의 부분 이미지로 미세조정한 SAN*은 Partial REID에서 랭크-1 44.7%를 기록하여 기준 모델보다 5.8% 높다.
• 시각화 결과는 생성된 텍스처 이미지가 다양한 자세와 시점에서 의미적으로 정렬되어 있음을 확인하며, 정렬 학습의 효과성을 입증한다.