[논문 리뷰] AANet: Attribute Attention Network for Person Re-Identifications

Chiat-Pin Tay, Sharmili Roy외 1명|arXiv (Cornell University)|2019. 12. 19.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 24

한 줄 요약

이 논문은 ResNet-50를 사용하여 사람 속성과 속성 주의 맵을 통합한 유일한 다중 작업 학습 아키텍처인 AANet를 제안한다. 동일한 불확실성 학습 기반의 동질성 학습을 통해 신원 분류, 부위 검출, 속성 예측을 동시에 최적화함으로써 AANet는 SOTA 성능을 달성하였으며, DukeMTMC-reID에서 mAP 3.36% 및 Rank-1 3.12% 향상되었고, Market1501에서는 재정렬 기반으로 mAP 1.42% 및 Rank-1 0.47% 향상되었다.

ABSTRACT

This paper proposes Attribute Attention Network (AANet), a new architecture that integrates person attributes and attribute attention maps into a classification framework to solve the person re-identification (re-ID) problem. Many person re-ID models typically employ semantic cues such as body parts or human pose to improve the re-ID performance. Attribute information, however, is often not utilized. The proposed AANet leverages on a baseline model that uses body parts and integrates the key attribute information in an unified learning framework. The AANet consists of a global person ID task, a part detection task and a crucial attribute detection task. By estimating the class responses of individual attributes and combining them to form the attribute attention map (AAM), a very strong discriminatory representation is constructed. The proposed AANet outperforms the best state-of-the-art method arXiv:1711.09349v3 [cs.CV] using ResNet-50 by 3.36% in mAP and 3.12% in Rank-1 accuracy on DukeMTMC-reID dataset. On Market1501 dataset, AANet achieves 92.38% mAP and 95.10% Rank-1 accuracy with re-ranking, outperforming arXiv:1804.00216v1 [cs.CV], another state of the art method using ResNet-152, by 1.42% in mAP and 0.47% in Rank-1 accuracy. In addition, AANet can perform person attribute prediction (e.g., gender, hair length, clothing length etc.), and localize the attributes in the query image.

연구 동기 및 목표

• 최신 사람 재식별 모델에서 사람 속성이 제대로 활용되지 않는 문제를 해결하기 위해.
• 통합된 분류 프레임워크에 속성 정보를 통합하여 재식별 성능을 향상시키기 위해.
• 더 강력한 특징 표현을 위해 신원, 신체 부위 검출, 속성 예측을 공동으로 학습하기 위해.
• 차폐와 같은 어려운 상황에서 검색 결과를 개선하기 위해 속성 기반 필터링을 가능하게 하기 위해.
• 이전 연구에서 사용된 깊은 모델에 비해 더 간단하고 浅층적인 백본(ResNet-50)을 사용하여 SOTA 성능을 달성하기 위해.

제안 방법

• AANet는 세 가지 하위 네트워크를 포함하는 다중 작업 학습 프레임워크를 사용한다: 신원 분류를 위한 글로벌 특징 네트워크(GFN), 신체 부위 검출을 위한 부위 특징 네트워크(PFN), 속성 예측을 위한 속성 특징 네트워크(AFN).
• AFN은 각 속성(예: 머리카락, 옷 색상 등)에 대해 클래스 인식 히트맵을 생성하며, 이를 통합하여 속성 주의 맵(AAM)을 형성하여 분류에 유용한 영역을 강조한다.
• 동질성 불확실성 학습을 사용하여 학습 중 세 가지 작업(신원, 부위, 속성)의 손실을 동적으로 균형 조절한다.
• 최종 특징 표현은 GFN, PFN, AFN의 출력을 학습된 불확실성 가중치를 사용해 융합하여 형성된다.
• 신원 및 속성 분류에는 교차 엔트로피 손실을, 신체 부위 위치 추정에는 부위 위치 손실을 사용하여 네트워크를 학습한다.
• 모델은 엔드 투 엔드 속성 예측 및 위치 추정을 가능하게 하며, 검색 후 처리 단계에서 속성 매칭을 통한 필터링을 지원한다.

실험 결과

연구 질문

• RQ1 옷 색상, 머리카락, 배낭과 같은 사람 속성을 재식별 프레임워크에 통합하면 검색 정확도가 크게 향상될 수 있는가?
• RQ2 신원, 부위 검출, 속성 예측의 공동 학습이 사람 재식별에서 특징의 분류 능력을 어떻게 향상시키는가?
• RQ3 불확실성 기반 손실 가중치를 사용하는 통합 다중 작업 프레임워크가 단일 작업 또는 약한 지도 학습 접근법보다 우수한 성능을 낼 수 있는가?
• RQ4 예측된 속성을 사용하여 차폐 상황과 같은 어려운 검색 시나리오에서 잘못된 결과를 얼마나 효과적으로 필터링할 수 있는가?
• RQ5 유사한 학습 프rotocol를 사용할 때, 더 얕은 백본(ResNet-50)을 사용하는 AANet가 더 깊은 모델(예: ResNet-152)을 초월할 수 있는가?

주요 결과

• 재정렬 기반으로 AANet는 Market1501 데이터셋에서 mAP 72.56% 및 Rank-1 86.42%의 정확도를 달성하였으며, 이는 이전 SOTA 모델(ResNet-152 기반)보다 mAP 1.42% 및 Rank-1 0.47% 향상된 성능이다.
• DukeMTMC-reID 데이터셋에서 AANet는 불확실성 가중 손실을 사용하여 mAP 70.47% 및 Rank-1 85.44%의 정확도를 달성하였으며, 기존 최고 성능 모델을 mAP 3.36% 및 Rank-1 3.12% 초월하였다.
• Market1501 데이터셋에서 AANet는 평균 속성 정확도 87.80%를 기록하였으며, APR [17]보다 모든 속성 카테고리에서 뛰어난 성능을 보였다. 특히 성별(92.31% vs. 86.45%) 및 옷 색상(94.83% vs. 91.46%) 분야에서 뚜렷한 우월성을 보였다.
• 속성 주의 맵(AAM)은 관련 신체 영역(예: 상의/하의, 머리카락)을 효과적으로 강조하며, 글로벌 신원 헤드에서 유도된 클래스 활성화 맵보다 더 분류 능력이 뛰어나다.
• 속성 기반 필터링은 차폐 상황에서 검색 품질을 크게 향상시킨다. 예를 들어, 90%의 오답이 포함된 경우, 속성 매칭을 통해 잘못된 결과가 제거되었으며, 정확한 매칭 결과는 1위, 19위, 38위 등으로 순위가 높아졌다.
• AANet는 더 얕은 ResNet-50 백본과 단순한 학습 파이프라인을 사용하여 SOTA 성능을 달성하였으며, 복잡한 데이터 증강 및 하드 마이닝 기법을 사용한 깊은 모델(예: ResNet-152)을 뛰어넘었다.