[논문 리뷰] Learning a Semantically Discriminative Joint Space for Attribute Based Person Re-identification.

Zhou Yin, Wei‐Shi Zheng외 4명|arXiv (Cornell University)|2017. 12. 05.

Video Surveillance and Tracking Methods인용 수 2

한 줄 요약

이 논문은 속성 기반 인물 재식별을 위한 새로운 공동 공간 학습 프레임워크를 제안하며, 이미지 모odal과 속성 모dal 간의 교차 모달 매칭을 가능하게 한다. 속성 유도 주의 메커니즘과 의미 일관성 있는 적대적 전략을 통합함으로써, 의미적으로 정렬된 표현을 학습하여 세 가지 속성 기반 Re-ID 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

연구 동기 및 목표

• 감시 응용 분야에서 속성 기반 기반으로 인물 이미지를 검색하는 데 있어 다루지 않은 바가 많은 교차 모달 매칭 문제를 해결하기 위해.
• 이미지와 속성이 상호 감독을 통해 의미적으로 정렬된 공유 의미 공간을 학습하기 위해.
• 속성을 보조 기능이나 다중 작업 학습을 위한 수단으로 사용하는 것 이상으로 속성 기반 인물 재식별의 효과를 향상시키기 위해.
• 제로샷 속성 기반 이미지 검색을 가능하게 하는 공동 표현 학습 프레임워크를 개발하기 위해.

제안 방법

• 특정 속성과 관련된 이미지 영역에 동적으로 집중할 수 있도록 하는 속성 유도 주의 메커니즘을 도입하여 특징 학습 중에 기능을 집중시키는 방법.
• 이미지와 속성의 잠재 표현을 공유된 공동 공간에서 의미 일관성 있게 정렬하기 위해 의미 일관성 있는 적대적 전략을 적용.
• 이중 스트림 네트워크 아키텍처를 사용하여 이미지 및 속성 임베딩을 동시에 학습하고, 교차 모달 일관성 손실를 적용.
• 속성 임베딩이 해당 이미지 특징과 의미적으로 일관되게 유지되도록 적대적 학습을 적용.
• 대비 손실 및 적대적 손실의 조합을 최적화하여 분류 능력을 향상시키기 위해 공동 공간을 최적화.

실험 결과

연구 질문

• RQ1 인물 이미지와 속성 기술 간의 효과적인 교차 모달 매칭을 가능하게 하는 공동 임베딩 공간을 학습할 수 있는가?
• RQ2 어떻게 속성 유도 주의가 이미지 특징과 의미적 속성 간의 정렬을 향상시킬 수 있는가?
• RQ3 의미 일관성 있는 적대적 전략이 공동 표현의 분류 능력을 어느 정도 향상시키는가?
• RQ4 기존의 속성 기반 Re-ID 접근 방식과 비교하여 제안된 방법은 검색 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 세 가지 벤치마크 속성 기반 인물 재식별 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 속성 유도 주의의 통합은 모델이 속성 매칭을 위해 관련된 이미지 영역에 집중할 수 있는 능력을 크게 향상시킨다.
• 의미 일관성 있는 적대적 학습 전략은 이미지와 속성 임베딩 간의 정렬을 향상시켜 더 나은 일반화 성능을 이끌어낸다.
• 이 방법은 기존의 속성을 보조 신호로만 사용하는 방법보다 효과적인 제로샷 속성 기반 이미지 검색을 가능하게 한다.