[논문 리뷰] Re-Identification with Consistent Attentive Siamese Networks

Meng Zheng, Srikrishna Karanam외 2명|arXiv (Cornell University)|2018. 11. 19.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 15

한 줄 요약

이 논문은 사람 재식별에서 주어진 정체성 레이블만을 사용하여 주어진 정체성의 이미지 간에 주의 일관성과 정체성 불변 특징 표현을 동시에 최적화하는 새로운 시아모이스 학습 아키텍처인 일관된 주의 시아모이스 네트워크(CASN)를 제안한다. CASN은 동일한 사람의 다른 시점에서 찍힌 이미지 간에 일관된 주의 맵을 학습함으로써, 주의 시각화를 통해 해석 가능한 예측과 동시에 강력한 크로스뷰 매칭 성능을 달성한다.

ABSTRACT

We propose a new deep architecture for person re-identification (re-id). While re-id has seen much recent progress, spatial localization and view-invariant representation learning for robust cross-view matching remain key, unsolved problems. We address these questions by means of a new attention-driven Siamese learning architecture, called the Consistent Attentive Siamese Network. Our key innovations compared to existing, competing methods include (a) a flexible framework design that produces attention with only identity labels as supervision, (b) explicit mechanisms to enforce attention consistency among images of the same person, and (c) a new Siamese framework that integrates attention and attention consistency, producing principled supervisory signals as well as the first mechanism that can explain the reasoning behind the Siamese framework's predictions. We conduct extensive evaluations on the CUHK03-NP, DukeMTMC-ReID, and Market-1501 datasets and report competitive performance.

연구 동기 및 목표

• 큰 시점 변화, 조도 변화, 가림 현상 등에 대응하는 강력한 크로스뷰 사람 재식별 도전 과제 해결.
• 기존 시아모이스 모델에서 동일한 사람의 이미지 간에 명시적인 주의 일관성이 부족한 문제 해결.
• 추가 애너테이션 없이 정체성 수준의 지도만으로도 엔드 투 엔드로 학습 가능한 공간적 국소화 구현.
• 이미지 쌍 간의 일관된 주의 맵을 시각화하여 모델 예측의 해석 가능한 이유 제공.
• 더 나은 매칭 성능를 위해 일관된 주의와 불변 표현을 동시에 학습하는 통합 프레임워크 개발.

제안 방법

• 동일한 사람의 쌍 이미지를 처리하는 가중치 공유 두 개의 브랜치로 구성된 시아모이스 네트워크 아키텍처 설계.
• 정체성 레이블에서 클래스별 기울기 역전파를 기반으로 하는 미분 가능 주의 메커니즘 도입을 통해 공간 주의 맵 생성.
• 동일 정체성의 주의 맵 간의 L2 거리 최소화를 통해 주의 일관성 강제 적용하는 시아모이스 주의 손실 도입.
• 엔드 투 엔드 학습 중 주의 일관성을 원칙적인 지도 신호로 통합하여 특징의 강건성 향상.
• 주의 일관성과 특징 유사도를 동시에 최적화하기 위해 주의 메커니즘과 시아모이스 대비 손실 통합.
• 주의 맵을 모델의 해석 가능성 도구로 활용하여 네트워크가 특정 이미지 쌍을 매칭하거나 거부하는 이유 설명.

실험 결과

연구 질문

• RQ1 정체성 수준의 지도만으로 추가 애너테이션이 없이 주의 맵을 엔드 투 엔드로 학습할 수 있는가?
• RQ2 다른 시점에서 찍힌 동일한 사람의 이미지 간에 주의 일관성을 강제 적용하면 크로스뷰 재식별 성능이 향상되는가?
• RQ3 일관된 주의 맵이 사람 재식별에서 모델 예측에 대한 신뢰할 수 있는 설명으로 기능할 수 있는가?
• RQ4 주의 일관성을 시아모이스 프레임워크에 통합하면 특징 표현 품질과 매칭 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 자세, 시점, 조도 조건이 다양한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• CUHK03-NP 데이터셋에서 CASN(PCA 기반)은 랭크-1 정확도 71.5%와 mAP 64.4%를 기록하여 베이스라인 PCB보다 각각 10.2% 향상되었다.
• DukeMTMC-ReID에서 CASN(PCA 기반)은 랭크-1 87.7%와 mAP 73.7%를 달성하여 베이스라인 PCB보다 각각 6.0%와 7.6% 향상되었다.
• Market-1501에서 CASN(PCA 기반)은 랭크-1 94.4%와 mAP 82.8%를 기록하여 베이스라인 PCB보다 각각 2.0%와 5.5% 향상되었다.
• 제거 실험 결과, 정체성 주의(IA)와 시아모이스 주의(SA) 모듈을 모두 추가할 경우 성능 향상이 가장 크게 나타나 두 구성 요소의 상호보완적 역할을 확인하였다.
• 시각화 결과, 시아모이스 주의 손실이 동일한 사람의 이미지 쌍 간 주의 일관성을 크게 향상시켰으며, 특히 외관은 유사하지만 자세가 다른 어려운 케이스에서 뚜렷한 효과를 보였다.
• 주의 맵은 예측 실패를 성공적으로 설명하였다: 예를 들어 잘못된 랭크-1 매칭의 경우 유사한 옷차림(예: 드레스)에 일관되게 주의를 기울여 설명되었고, 정답 매칭은 주의가 일관되지 않아 랭크가 낮아졌다.