[논문 리뷰] Adversarial Attribute-Image Person Re-identification

Yin Zhou, Wei‐Shi Zheng외 6명|arXiv (Cornell University)|2017. 12. 05.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 6

한 줄 요약

이 논문은 속성에서 생성된 이미지 유사 개념과 이미지 특징을 정렬함으로써 의미적으로 구분 가능한 통합 공간을 학습하는 적대적 속성-이미지 인물 재식별 프레임워크를 제안한다. 적대적 훈련를 통해 모odal 간 의미 일致성을 강제함으로써, 완벽하지 않은 속성 예측에 의존하지 않고도 Duke Attribute, Market Attribute, PETA 데이터셋에서 기존의 다중 모odal 모델보다 우수한 성능을 달성하며, 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

While attributes have been widely used for person re-identification (Re-ID) which aims at matching the same person images across disjoint camera views, they are used either as extra features or for performing multi-task learning to assist the image-image matching task. However, how to find a set of person images according to a given attribute description, which is very practical in many surveillance applications, remains a rarely investigated cross-modality matching problem in person Re-ID. In this work, we present this challenge and formulate this task as a joint space learning problem. By imposing an attribute-guided attention mechanism for images and a semantic consistent adversary strategy for attributes, each modality, i.e., images and attributes, successfully learns semantically correlated concepts under the guidance of the other. We conducted extensive experiments on three attribute datasets and demonstrated that the proposed joint space learning method is so far the most effective method for the attribute-image cross-modality person Re-ID problem.

연구 동기 및 목표

• 사용자가 의미적 속성을 사용하여 인물 이미지를 쿼리하는 실용적이지만 미처 다루지 않은 속성-이미지 인물 재식별 문제를 해결하기 위해.
• 감시 조건에서 낮은 정확도와 열악한 의미적 분류 능력을 보이는 속성 예측 기반 방법의 한계를 극복하기 위해.
• 의미 일치성 정규화를 통해 적대적 훈련을 통해 이미지와 속성 모달 간의 통합 임베딩 공간을 학습하기 위해.
• 속성에서 이미지 유사 개념을 생성하는 것이 다중 모달 매칭에 있어 반대로 이미지를 속성으로 생성하는 것보다 더 효과적임을 입증하기 위해.

제안 방법

• 속성 벡터에서 이미지 유사 개념을 생성하는 생성자(generator)를 갖는 생성적 적대적 네트워크(GAN) 프레임워크를 도입한다.
• 실제 이미지 특징와 생성된 이미지 유사 개념을 구별하는 판별자(discriminator)를 활용하여 생성된 개념의 현실성에 대한 강제 조건을 설정한다.
• 실제 이미지와 생성된 개념의 잠재 표현 간의 모달 간 일치를 확보하기 위해 의미 일치성 정규화 손실을 적용한다.
• 생성자와 판별자를 동시에 최적화하면서도 속성과 이미지 간의 의미적 대응 관계를 유지하는 통합 훈련 전략을 사용한다.
• 특징 추출 중에 구분 가능한 이미지 영역에 집중하기 위해 주의 메커니즘(attention mechanism)을 구현한다.
• 적대적 손실, 재구성 손실, 의미 일치성 손실을 조합한 다중 손실 목표함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 의미 일치성 정규화를 통한 적대적 학습이 인물 재식별에서 속성과 이미지 간의 모달 간 격차를 효과적으로 해소할 수 있는가?
• RQ2 이미지 유사 개념을 속성에서 생성하는 것이 다중 모달 매칭에 있어 이미지를 속성으로 생성하는 것보다 더 효과적인가?
• RQ3 제안된 방법이 속성 예측 기반 및 표준 다중 모달 검색 모델보다 속성-이미지 Re-ID에서 더 나은 성능을 내는가?
• RQ4 적대적 손실 및 일치성 손실 가중치와 같은 하이퍼파rameter는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 의미 일치성 정규화를 통한 제안된 적대적 프레임워크는 Duke Attribute, Market Attribute, PETA 데이터셋에서 최신 기술 수준의 성능을 달성하며, DCCA, DCCAE, 2WayNet, CMCE를 포함한 모든 기준 모델을 능가한다.
• Duke Attribute 데이터셋에서 모델은 평균 평균 정확도(mAP) 78.6%를 기록하여 두 번째로 우수한 기준 모델(68.2%)보다 유의미하게 높은 성능을 보였다.
• Market Attribute 데이터셋에서 모델은 mAP 82.4%를 달성하여 CMCE 모델(79.1%)과 다른 다중 모달 기준 모델을 모두 능가했다.
• PETA 데이터셋에서 모델은 mAP 71.3%를 기록하여 다양한 속성과 이미지 분포에 대해 뛰어난 강건성을 보였다.
• 제거 실험 결과 의미 일치성 손실이 성능에 핵심적인 역할을 하며, Duke Attribute에서 이를 제거하면 mAP가 12.5% 감소함을 확인했다.
• 정성적 결과는 모델이 세밀한 특징(예: 배낭 스타일)을 효과적으로 학습하고, 관련 없는 이미지 세부 정보로 인한 오류를 줄임을 보여주었다.