[논문 리뷰] Attributes-aided Part Detection and Refinement for Person Re-identification

Shuzhao Li, Huimin Yu외 2명|arXiv (Cornell University)|2019. 02. 27.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 4

한 줄 요약

이 논문은 신체 부위의 정렬 오류 문제를 해결하기 위해 자세에 영향을 받지 않는 부분 검출기로 특성 검출을 활용하는 새로운 딥러닝 모델인 APDR을 제안한다. 국소적 특징을 개선하기 위해 특성 정보를 융합함으로써, APDR은 Market-1501과 DukeMTMC-reID에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 순위-1 정확도와 mAP 모두에서 기존 방법들을 능가한다. 특히 재순서 정렬 후 성능 향상이 두드러진다.

ABSTRACT

Person attributes are often exploited as mid-level human semantic information to help promote the performance of person re-identification task. In this paper, unlike most existing methods simply taking attribute learning as a classification problem, we perform it in a different way with the motivation that attributes are related to specific local regions, which refers to the perceptual ability of attributes. We utilize the process of attribute detection to generate corresponding attribute-part detectors, whose invariance to many influences like poses and camera views can be guaranteed. With detected local part regions, our model extracts local features to handle the body part misalignment problem, which is another major challenge for person re-identification. The local descriptors are further refined by fused attribute information to eliminate interferences caused by detection deviation. Extensive experiments on two popular benchmarks with attribute annotations demonstrate the effectiveness of our model and competitive performance compared with state-of-the-art algorithms.

연구 동기 및 목표

• 자세, 시점, 가림 등의 변형으로 인해 지속적으로 발생하는 신체 부위 정렬 오류 문제를 해결한다.
• 약한 지도 신호를 사용하는 자세 추정 또는 주의 메커니즘에 의존하는 기존 부분 검출 방법의 한계를 극복한다.
• 인간 특성의 인지적 일관성과 의미적 일관성을 활용하여 더 신뢰할 수 있고 구별력 있는 국소적 부분 정렬을 유도한다.
• 특성 정보를 융합하여 국소 기술자표를 개선하고 검출 오류로 인한 노이즈를 줄임으로써 특징 표현을 향상시킨다.
• 특성 학습, 부분 검출, 특징 개선을 통합한 통합 프레임워크를 구축하여 엔드 투 엔드 재식별 최적화를 실현한다.

제안 방법

• 특성와 국소 영역 간의 연관성을 학습하여 자세나 시점에 영향을 받지 않는 부분 검출기를 생성하기 위해 특성 검출 헤드를 훈련시킨다.
• 검출된 특성-부분 영역을 사용해 국소적 딥 특징을 추출함으로써 공간적 정렬 오류 문제를 줄인다.
• 다양한 특성을 하나의 압축된 의미적 표현으로 통합하기 위해 단순한 특성 융합 모듈을 도입한다.
• 융합된 특성 표현을 사용해 추출된 국소적 특징을 개선하여 검출 편차로 인한 불필요하거나 노이즈가 많은 특징을 억제한다.
• 개선된 국소적 특징과 전역 이미지 수준의 특징을 융합하여 최종 재식별 점수를 산출한다.
• 재순서 정렬을 후처리 단계로 적용하여 성능을 추가로 향상시키며, 모델의 강건성과 구별 능력을 활용한다.

실험 결과

연구 질문

• RQ1 특성 검출이 인물 재식별을 위한 자세에 영향을 받지 않는 부분 검출 메커니즘으로 효과적으로 재사용될 수 있는가?
• RQ2 단일 특성 분류 대비 다중 특성 융합이 국소 부분 특징의 신뢰성과 구별력에 어떻게 기여하는가?
• RQ3 특성 보조 부분 검출이 검출 오류와 공간적 정렬 오류의 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 융합된 특성 정보를 기반으로 한 제안된 개선 메커니즘이 표준 부분 풀링 또는 주의 메커니즘보다 더 강건한 국소 특징 표현을 제공하는가?
• RQ5 대규모 벤치마크에서 큰 자세 변화와 복잡한 배경 조건과 같은 도전적인 상황에서도 모델의 성능은 어떠한가?

주요 결과

• APDR는 재순서 정렬 없이도 Market-1501에서 93.1%의 순위-1 정확도와 80.1%의 mAP를 달성하여 PABR 및 RPP를 포함한 대부분의 최신 기술 수준 방법들을 능가한다.
• 재순서 정렬을 적용한 후, APDR은 Market-1501에서 94.4%의 순위-1 정확도와 90.2%의 mAP를 기록하여 RPP 모델조차도 능가하며 새로운 최신 기술 수준 성능을 수립한다.
• DukeMTMC-reID에서 APDR은 84.3%의 순위-1 정확도와 69.7%의 mAP를 달성하였으며, 확장 구조를 사용하지 않음에도 불구하고 PABR 및 RPP와 동등하거나 이를 초월한다.
• 재순서 정렬을 적용한 결과, DukeMTMC-reID에서 APDR은 87.3%의 순위-1 정확도와 83.2%의 mAP를 기록하여 다양한 감시 조건에서 강력한 일반화 능력을 보였다.
• APR 및 ACRN과 같은 특성 기반 방법들보다 모델 성능이 뚜렷이 뛰어나, 특성에 기반한 인지 기반 부분 검출이 단순한 특성 분류보다 더 효과적임을 입증한다.
• 절단 분석 결과, 특성 융합과 개선 모듈이 핵심 요소임을 확인하였으며, 이들 구성 요소를 제거할 경우 성능 저하가 발생함으로써 그 기능적 중요성을 확인하였다.