[논문 리뷰] Deep Co-attention based Comparators For Relative Representation Learning in Person Re-identification

Lin Wu, Yang Wang외 2명|arXiv (Cornell University)|2018. 04. 30.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 9

한 줄 요약

이 논문은 깊이 동시주의 기반 비교자(DCCs)를 제안하며, 쌍으로 이루어진 이미지 간의 상호의존적인 영역에 동시에 주목하여 상대적이고 동적인 표현을 학습하는 새로운 신경망을 개발한다. 인간의 중심시각화와 반복적인 동시주의를 모방함으로써 DCCs는 DukeMTMC-reID, CUHK03, Market-1501에서 최신 기준 성능을 달성하며, Market-1501에서 순위 1 정확도 86.7%와 mAP 69.4%를 기록한다.

ABSTRACT

Person re-identification (re-ID) requires rapid, flexible yet discriminant representations to quickly generalize to unseen observations on-the-fly and recognize the same identity across disjoint camera views. Recent effective methods are developed in a pair-wise similarity learning system to detect a fixed set of features from distinct regions which are mapped to their vector embeddings for the distance measuring. However, the most relevant and crucial parts of each image are detected independently without referring to the dependency conditioned on one and another. Also, these region based methods rely on spatial manipulation to position the local features in comparable similarity measuring. To combat these limitations, in this paper we introduce the Deep Co-attention based Comparators (DCCs) that fuse the co-dependent representations of the paired images so as to focus on the relevant parts of both images and produce their extit{relative representations}. Given a pair of pedestrian images to be compared, the proposed model mimics the foveation of human eyes to detect distinct regions concurrent on both images, namely co-dependent features, and alternatively attend to relevant regions to fuse them into the similarity learning. Our comparator is capable of producing dynamic representations relative to a particular sample every time, and thus well-suited to the case of re-identifying pedestrians on-the-fly. We perform extensive experiments to provide the insights and demonstrate the effectiveness of the proposed DCCs in person re-ID. Moreover, our approach has achieved the state-of-the-art performance on three benchmark data sets: DukeMTMC-reID \cite{DukeMTMC}, CUHK03 \cite{FPNN}, and Market-1501 \cite{Market1501}.

연구 동기 및 목표

• 기존의 영역 기반 인식 재식별 방법이 특징 추출과 유사도 학습을 별도로 다루며, 이미지 간 상호의존성을 모델링하지 못하는 한계를 해결한다.
• 지역적 특징의 고정된 공간적 위치에 의존하는 문제를 해결하여 보다 영리하고 동적인 보행자 이미지 비교를 가능하게 한다.
• 학습된 쌍에 기반한 상대적 표현을 통해 미리 보지 않은 신원에 대해 실시간으로 신속하게 일반화할 수 있도록 한다.
• 인간의 시각 중심시각화와 주목 집중 축적에 영감을 받아, 쌍의 이미지 간 공존하는 상호의존적 특징을 모델링함으로써 유사도 학습을 향상시킨다.
• 특징 학습과 유사도 측정을 융합한 통합 프레임워크를 개발하여, 분리된 접근 방식의 최적화되지 않은 성능을 피한다.

제안 방법

• 쌍의 이미지에서 공존하는 특징을 학습하는 동시주의 인코더를 갖춘 깊이 동시주의 기반 비교자(DCC) 아키텍처를 제안한다.
• 반복적인 비교자(recurrence comparator)를 구현하여 두 이미지 사이를 번갈아가며 관련 영역에 주목함으로써 유사도 추정을 정밀하게 개선한다.
• 각 쌍의 비교에서 초기 특징을 추출하기 위해 이중 브랜치 컨볼루션 백본을 사용한다.
• 하나의 이미지에서 다른 이미지의 맥락에 기반해 관련 부분에 주목함으로써 이미지 간 상호의존성을 모델링하는 동시주의 메커니즘을 적용한다.
• 각 쌍에 맞게 조정된 동적이고 상대적인 표현을 생성하는 가분성 있는 유사도 추정 모듈을 통합한다.
• 대비 손실을 사용하여 엔드 투 엔드로 훈련함으로써, 교차 카메라 재식별 성능을 향상시키는 분류 가능한 상대적 표현을 최적화한다.

실험 결과

연구 질문

• RQ1 유사도 학습 중에 이미지 간 상호의존성을 모델링함으로써 동시주의 기반 메커니즘이 인식 재식별 성능을 향상시킬 수 있는가?
• RQ2 쌍의 이미지에 동적으로 조건화된 상대적 표현을 학습함으로써, 새로운 신원에 대한 일반화 성능이 향상되는가?
• RQ3 두 이미지의 특징을 번갈아가며 주목하는 반복적 비교자가 단일 패assing 주목 또는 고정된 공간 풀링보다 우월한 성능을 내는가?
• RQ4 특징 표현과 유사도 측정을 동시에 학습하는 엔드 투 엔드 통합 학습 방식이 분리된 접근 방식보다 성능 면에서 더 낫게 작용하는가?
• RQ5 동시주의 기반 접근이 부분 기반 재식별에서 공간 조작과 고정된 영역 제안에 대한 의존도를 어느 정도 줄일 수 있는가?

주요 결과

• DCCs는 단일 쿼리 평가에서 Market-1501 데이터셋에서 순위 1 정확도 86.7%와 mAP 69.4%를 기록하며 최신 기준 성능을 달성한다.
• 메트릭 학습(DCCs+KISSME)을 적용한 결과, 순위 1 정확도가 88.4%로 향상되어 Market-1501에서 현재까지 기록된 최고 성능을 달성한다.
• DukeMTMC-reID에서 DCCs는 이전 최신 기준 성능을 기록한 GOG보다 순위 1 정확도에서 14.5%p 향상되었다.
• DukeMTMC-reID에서 DCCs는 SVDNet보다 순위 1 정확도 3.3%p, mAP 2.4%p 향상되어 더 나은 일반화 능력과 특징 품질을 입증했다.
• 비지도 학습 방법인 UMDL과 PUL에 비해 DCCs가 훨씬 뛰어난 성능을 기록했다. 이는 데이터에 기반한 엔드 투 엔드 학습에 의한 상대적 표현 학습 덕분이었다.
• 고정된 공간 정렬에 의존하는 부분 기반 모델인 SpindleNet과 Part-aligned과 비교해 DCCs는 고정된 정렬 없이 공존하는 특징을 학습함으로써 우월한 성능을 보였다.