[논문 리뷰] Deep View-Sensitive Pedestrian Attribute Inference in an end-to-end Model

M. Saquib Sarfraz, Arne Schumann외 2명|arXiv (Cornell University)|2017. 07. 19.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 53

한 줄 요약

이 논문은 종단간(end-to-end) 딥러닝 모델인 VeSPA를 제안하며, 보행자의 시야(앞, 뒤, 측면)를 동시에 예측하고, 시야별로 특화된 다중 레이블 속성 추론을 수행한다. 군중 포즈(coarse pose)를 보조 신호로 활용함으로써, 시야에 민감한 표현을 학습함으로써 속성 예측 정확도를 향상시키며, PETA, RAP, WIDER 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였다. RAP에서 91.7%의 시야 분류 정확도를 기록하였다.

ABSTRACT

Pedestrian attribute inference is a demanding problem in visual surveillance that can facilitate person retrieval, search and indexing. To exploit semantic relations between attributes, recent research treats it as a multi-label image classification task. The visual cues hinting at attributes can be strongly localized and inference of person attributes such as hair, backpack, shorts, etc., are highly dependent on the acquired view of the pedestrian. In this paper we assert this dependence in an end-to-end learning framework and show that a view-sensitive attribute inference is able to learn better attribute predictions. Our proposed model jointly predicts the coarse pose (view) of the pedestrian and learns specialized view-specific multi-label attribute predictions. We show in an extensive evaluation on three challenging datasets (PETA, RAP and WIDER) that our proposed end-to-end view-aware attribute prediction model provides competitive performance and improves on the published state-of-the-art on these datasets.

연구 동기 및 목표

• 감시 환경에서 속성이 시야에 매우 의존적인 특성 때문에 보행자 속성 추론의 과제를 해결하기 위해.
• 명시적인 국소화나 파트 검출기 없이도, 시야별 시각적 특징을 명시적으로 모델링하여 다중 레이블 속성 예측 성능을 향상시키기 위해.
• 단일 종단간 딥러닝 프레임워크 내에서 시야 예측과 속성 인식을 통합하기 위해.
• 군중 포즈 정보가 더 나은 속성 추론을 위해 강력하고 이식 가능한 보조 신호로 기능하는지 입증하기 위해.

제안 방법

• 모델은 앞서서 시야 예측(앞/뒤/측면)을 위한 전용 초기 컨볼루션 레이어를 갖춘 공통 백본 CNN을 사용한다.
• 후속 레이어에는 각각 세 가지 군중 시야 중 하나에 특화된 시야별 속성 예측 헤드가 포함되어 있다.
• 모델은 시야 분류와 다중 레이블 속성 분류를 조합한 다중 작업 손실을 통해 종단간으로 훈련된다.
• -excitation backpropagation을 사용하여 각 속성 예측에 가장 관련성이 높은 이미지 영역을 시각화하고 분석한다.
• 시야 예측기는 RAP(시야 레이블이 있는 데이터셋)에서 초기화하고, PETA와 WIDER(시야 레이블이 없는 데이터셋)에서 미세조정함으로써 새로운 데이터셋으로의 이식을 가능하게 한다.
• 아키텍처는 시야와 속성 예측의 공동 최적화를 가능하게 하며, 시야 정보가 관련 이미지 영역에 주의를 집중시키는 데 기여한다.

실험 결과

연구 질문

• RQ1 보행자의 군중 시야(앞/뒤/측면)는 속성 추론 향상에 강력하고 이식 가능한 보조 신호로 기능할 수 있는가?
• RQ2 시야별로 특화된 속성 표현을 학습하는 것이, 시야에 무관한 모델에 비해 더 나은 전체 속성 예측 성능을 이끌어낼 수 있는가?
• RQ3 분리된 또는 파트 기반 접근 방식에 비해 종단간 모델이 시야 예측과 속성 인식을 더 효과적으로 동시에 학습할 수 있는가?
• RQ4 동일한 속성에 대해 서로 다른 시야에서 모델의 주의 맵(attention maps)과 특징 활성화(feature activations)는 어떻게 달라지는가?

주요 결과

• 제안된 VeSPA 모델은 RAP 테스트 세트에서 91.7%의 시야 분류 정확도를 달성하여 신뢰할 수 있는 시야 예측 능력을 입증하였다.
• 모델은 PETA, RAP, WIDER 세 가지 벤치마크 데이터셋에서 모두 최신 기술(SOTA) 성능을 향상시켰다.
• 시야별 속성 예측 헤드는 해당 시야와 일치하는 이미지에서 가장 높은 정확도를 기록하였으며, 성공적인 전문화가 확인되었다.
• Excitation backpropagation 분석 결과, VeSPA는 시야에 따라 달라지는 주의를 학습함을 확인할 수 있었다. 예를 들어, 뒷면에서 '목도어' 속성 예측에 가장 관련성이 높은 영역은 목 부위이며, 측면에서는 허리 부위가 핵심이었다.
• 정성적 결과 분석에서 VeSPA는 의미적으로 타당한 예측을 내놓으며, 많은 오진 예측들 또한 타당한 해석을 가짐을 보였다(예: '레더 샌들' 대신 '신발'을 예측함).
• 시야 예측기의 PETA와 WIDER로의 이식은 시야 레이블이 없는 상황임에도 불구하고, RAP에서 생성된 평균 이미지와 유사한 고품질의 평균 이미지를 생성하여 강력한 일반화 능력을 입증하였다.