[논문 리뷰] Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting

Jian Jia, Houjing Huang외 2명|arXiv (Cornell University)|2021. 07. 08.

Advanced Neural Network Applications참고 문헌 53인용 수 25

한 줄 요약

이 논문은 보행자 속성 인식을 정의하고, 데이터 누출로 인한 기존 데이터셋을 비판하며, 제로샷 신원 데이터셋인 PETA ZS와 RAP ZS를 도입하고, 재구현된 기준선과 공정한 평가를 위한 강력한 기준선을 제공한다.

ABSTRACT

Pedestrian attribute recognition aims to assign multiple attributes to one pedestrian image captured by a video surveillance camera. Although numerous methods are proposed and make tremendous progress, we argue that it is time to step back and analyze the status quo of the area. We review and rethink the recent progress from three perspectives. First, given that there is no explicit and complete definition of pedestrian attribute recognition, we formally define and distinguish pedestrian attribute recognition from other similar tasks. Second, based on the proposed definition, we expose the limitations of the existing datasets, which violate the academic norm and are inconsistent with the essential requirement of practical industry application. Thus, we propose two datasets, PETA extsubscript{$ZS$} and RAP extsubscript{$ZS$}, constructed following the zero-shot settings on pedestrian identity. In addition, we also introduce several realistic criteria for future pedestrian attribute dataset construction. Finally, we reimplement existing state-of-the-art methods and introduce a strong baseline method to give reliable evaluations and fair comparisons. Experiments are conducted on four existing datasets and two proposed datasets to measure progress on pedestrian attribute recognition.

연구 동기 및 목표

• 보행자 속성 인식의 명시적이고 완전한 정의를 제공한다.
• 기존 데이터셋이 학술적 표준과 실용적 요구를 충족하는지 평가한다.
• 제로샷 보행자 신원 데이터셋(PETA ZS 및 RAP ZS)과 현실적인 데이터 분할 기준을 제안한다.
• 일관된 설정하에 최첨단 PAR 방법들을 재구현하고 강력한 기준선을 확립한다.
• 진전을 정량화하기 위해 기존 및 제안된 데이터셋 전반에 걸쳐 공정하고 신뢰할 수 있는 평가를 제공한다.

제안 방법

• 훈련과 테스트 세트 사이에 제로샷 신원을 갖춘 잘려진 보행자 이미지에서 다중 레이블 예측으로 보행자 속성 인식을 형식적으로 정의한다.
• 데이터 누출과 불일치하는 학습/테스트 분할로 인해 기존 데이터셋에 존재하는 결함을 식별한다.
• 현실적인 PAR 데이터셋 구축 기준을 제안하고 제로샷 신원 설정을 사용하여 PETA ZS 및 RAP ZS를 도입한다.
• 네 가지 최첨단 PAR 방법(MsVAA, VAC, ALM, JLAC)을 통일된 평가 프로토콜 아래 재구현한다.
• 속성별 가중치 스킴 WF1, WF2, WF3를 사용하는 이진 교차 엔트로피 손실을 이용한 강력한 PAR 기준선을 제안하고 그 영향을 분석한다.
• 엔드투엔드 학습 및 평가 공식화를 갖춘 기준선 구현 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 보행자 속성 인식의 정확한 정의는 무엇이며 관련 작업과 어떻게 다른가?
• RQ2 현행 PAR 데이터셋은 현실적이고 제로샷 배포 시나리오에서 일반화 및 성능을 타당하게 측정하는가?
• RQ3 제로샷 보행자 신원을 반영하고 속성 분포를 안정적으로 유지하도록 데이터셋을 어떻게 구성하거나 분할할 수 있는가?
• RQ4 공정한 제로샷 평가하에서 기존 PAR 방법들은 어떤 성능을 보이며, 신뢰할 수 있는 기준선은 무엇인가?
• RQ5 이 기준에 따라 속성 가중치 스킴과 학습 목표가 PAR 성능에 어떤 영향을 미치는가?

주요 결과

• 기존 PAR 데이터셋은 학습 세트와 테스트 세트 간에 동일한 신원이 공유되어 데이터 누출이 발생하고 성능이 과대평가된다.
• 일반 신원 테스트 이미지(학습에서 본 이미지)와 고유 신원 테스트 이미지(학습에서 보지 못한 이미지) 간에 현저한 성능 차이가 있다.
• 테스트 신원이 학습 세트에 없음을 반영하는 현실적인 배치를 더 잘 반영하기 위해 제로샷 데이터셋 PETA ZS와 RAP ZS를 제안한다.
• 일관된 설정하에서 최첨단 방법들을 재구현했고 평가를 통해 공정한 비교와 견고한 기준선의 중요성을 강조한다.
• 기준선 PAR 성능은 속성 분포와 클래스 불균형의 영향을 받으며, 가중치 함수 WF1, WF2, WF3가 최적화에 눈에 띄는 영향을 준다.