[논문 리뷰] DotSCN: Group Re-identification via Domain-Transferred Single and Couple Representation Learning

Ziling Huang, Zheng Wang외 3명|arXiv (Cornell University)|2019. 05. 13.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 5

한 줄 요약

이 논문은 데이터 부족 문제를 해결하기 위해 소스 데이터셋에서 사전 훈련된 개인 ReID 특징을 타겟 G-ReID 도메인으로 이전시키는 도메인 전이 표현 학습 프레임워크인 DotSCN을 제안한다. 이는 상호관계를 모델링하기 위한 새로운 쌍 표현 학습 모듈과 L자형 사전 지식을 활용한 적응형 융합 기법을 도입하여 Road Group 및 DukeMCMT 데이터셋에서 각각 11.7%와 39.0%의 CMC-1 향상률을 기록하며 최신 기술 수준을 확립한다.

ABSTRACT

Group re-identification (G-ReID) is an important yet less-studied task. Its challenges not only lie in appearance changes of individuals which have been well-investigated in general person re-identification (ReID), but also derive from group layout and membership changes. So the key task of G-ReID is to learn representations robust to such changes. To address this issue, we propose a Transferred Single and Couple Representation Learning Network (TSCN). Its merits are two aspects: 1) Due to the lack of labelled training samples, existing G-ReID methods mainly rely on unsatisfactory hand-crafted features. To gain the superiority of deep learning models, we treat a group as multiple persons and transfer the domain of a labeled ReID dataset to a G-ReID target dataset style to learn single representations. 2) Taking into account the neighborhood relationship in a group, we further propose learning a novel couple representation between two group members, that achieves more discriminative power in G-ReID tasks. In addition, an unsupervised weight learning method is exploited to adaptively fuse the results of different views together according to result patterns. Extensive experimental results demonstrate the effectiveness of our approach that significantly outperforms state-of-the-art methods by 11.7\% CMC-1 on the Road Group dataset and by 39.0\% CMC-1 on the DukeMCMT dataset.

연구 동기 및 목표

• 대규모 공개 데이터셋이 부족한 그룹 재식별(G-ReID)에서 레이블이 부족한 훈련 데이터 문제를 해결한다.
• 기존 ReID 데이터셋과 타겟 G-ReID 환경 간의 도메인 차이를 극복하여 개인 수준의 표현을 효과적으로 전이할 수 있도록 한다.
• 그룹 구성원 간의 동적 레이아웃과 구성 변화를 고려하여 구성원 간의 분별성 있는 쌍 표현을 학습한다.
• L자형 사전 지식을 기반으로 단일 및 쌍 표현의 분별성에 따라 가중치를 동적으로 조정하는 적응형 융합 전략을 개발한다.

제안 방법

• 이미지 스타일 전이 기법을 사용하여 소스 도메인(Market-1501 등)에서 사전 훈련된 개인 ReID 특징을 타겟 G-ReID 도메인으로 이전시켜 도메인 차이를 줄인다.
• 각 그룹을 개인의 집합으로 표현하고, 구성원 각각에 대해 도메인 전이된 단일 개인 특징을 추출한다.
• 대비 손실을 사용하는 시아모이드 유사 네트워크를 통해 두 구성원 간의 쌍 관계를 모델링하여 새로운 쌍 표현을 학습한다.
• 순위-거리 곡선에 둘러싸인 면적을 기반으로 단일 및 쌍 표현에 대한 동적 가중치를 계산하는 적응형 융합 기법을 제안한다.
• L자형 사전 지식에 기반한 학습된 가중치 함수를 사용하여 융합된 표현을 최종 매칭 점수에 통합한다.
• 단일 특징에 대한 트리플릿 손실과 쌍 특징에 대한 대비 손실을 조합한 공동 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 있는 타겟 G-ReID 도메인으로 개인 ReID 표현을 효과적으로 전이시키기 위해 도메인 적응 기법이 유용한가?
• RQ2 그룹 구성원 간의 쌍 표현을 통해 상호관계를 모델링하면 단일 개인 특징만을 사용하는 것보다 분별성 향상에 기여하는가?
• RQ3 단일 및 쌍 표현의 분별성에 따라 동적으로 가중치를 조정하는 적응형 융합 기법이 고정 또는 동일 가중치 융합 전략을 능가하는가?
• RQ4 동적 레이아웃과 구성 변화 상황에서 그래프 기반 GNN 모델과 비교해 본다면, 제안된 방법은 그룹 수준의 표현을 더 잘 모델링하는가?

주요 결과

• Road Group 데이터셋에서 기존 최고 성능 기법 대비 CMC-1에서 11.7%의 절대적 향상률을 기록한다.
• DukeMCMT 데이터셋에서 최신 기술 수준의 방법 대비 CMC-1에서 39.0%의 향상률을 기록하여 뛰어난 일반화 능력을 입증한다.
• 모든 CMC 지표에서 동등 가중치 융합 및 단일 또는 쌍 표현 기반 베이스라인 대비 적응형 융합 전략이 우월한 성능을 보인다.
• 단일 및 쌍 표현 간의 상호보완적 특성 덕분에 외관 변화, 레이아웃 변화, 구성 동적 변화에 대해 뛰어난 강인성을 보인다.
• 유사한 옷차림을 가진 개인들 사이에서 전역적 또는 그래프 기반 표현에서 놓치는 고유한 개인 간 차이를 쌍 표현이 효과적으로 포착한다.
• 제거 실험을 통해 L자형 사전 지식 기반 융합 기법이 곤경에 처한 경우 더 분별성이 높은 표현에 더 높은 가중치를 할당하는 데 효과적임을 확인한다.