[논문 리뷰] Pedestrian Attribute Recognition: A Survey

Xiao Wang, Shaofei Zheng외 5명|arXiv (Cornell University)|2019. 01. 22.

Video Surveillance and Tracking Methods참고 문헌 102인용 수 30

한 줄 요약

이 종합 검토는 전통적인 수작업 특징 기반 접근법과 딥 러닝 기반 기법을 포함한 보행자 속성 인식(PAR) 방법에 대한 포괄적인 리뷰를 제공한다. 주요 아키텍처, 다중 레이블 및 다중 작업 학습과 같은 학습 패러다임, 그리고 다중 모odal 융합, 영상 기반 인식, 관련 작업과의 동시 학습과 같은 새로운 추세를 분석하여 현재의 과제와 PAR 분야의 향후 연구 방향에 대한 통찰을 제공한다.

ABSTRACT

Recognizing pedestrian attributes is an important task in the computer vision community due to it plays an important role in video surveillance. Many algorithms have been proposed to handle this task. The goal of this paper is to review existing works using traditional methods or based on deep learning networks. Firstly, we introduce the background of pedestrian attribute recognition (PAR, for short), including the fundamental concepts of pedestrian attributes and corresponding challenges. Secondly, we introduce existing benchmarks, including popular datasets and evaluation criteria. Thirdly, we analyze the concept of multi-task learning and multi-label learning and also explain the relations between these two learning algorithms and pedestrian attribute recognition. We also review some popular network architectures which have been widely applied in the deep learning community. Fourthly, we analyze popular solutions for this task, such as attributes group, part-based, etc. Fifthly, we show some applications that take pedestrian attributes into consideration and achieve better performance. Finally, we summarize this paper and give several possible research directions for pedestrian attribute recognition. We continuously update the following GitHub to keep tracking the most cutting-edge related works on pedestrian attribute recognition~\url{https://github.com/wangxiao5791509/Pedestrian-Attribute-Recognition-Paper-List}

연구 동기 및 목표

• 기존의 수작업 특징 기반 및 딥 러닝 기반 보행자 속성 인식(PAR) 방법에 대한 체계적인 리뷰를 제공하기 위해.
• 다중 레이블 및 다중 작업 학습이 PAR 성능 향상에 미치는 역할를 분석하기 위해.
• 인기 있는 딥 신경망 아키텍처와 그 PAR에의 응용을 평가하기 위해.
• 다중 모달, 영상 기반, 동시 학습 접근법과 같은 새로운 추세를 탐구하기 위해.
• 보행자 속성 인식 분야에서 열려 있는 과제를 특정하고 향후 연구 방향을 제안하기 위해.

제안 방법

• 논문은 8개의 영역으로 분류된 PAR 방법에 대한 체계적인 리뷰를 수행한다: 전반적 기반, 부분 기반, 시각적 주의 기반, 순차적 예측 기반, 손실 함수 설계 기반, 교육 곡선 기반, 그래프 컨volution 네트워크 기반, 기타 알고리즘.
• PA-100K, CUHK-PC14, Market-1501과 같은 벤치마크 데이터셋과 정확도 및 평균 평균 정밀도(mAP)와 같은 표준 평가 지표를 평가한다.
• CNN, RNN, GCN 등의 딥 러닝 아키텍처를 분석하며, PAR에 있어서 특징 추출 및 표현 학습에서의 역할을 강조한다.
• 부분 기반 모델링, 주의 메커니즘, 영상 시퀀스 내 시공간 모델링과 같은 속성 특화 기법을 검토한다.
• RGB, 열화상, 깊이 데이터를 이용한 다중 모달 융합 전략을 탐구하여 저조도 또는 악천후 조건에서의 강인성을 향상시킨다.
• PAR를 인물 재식별, 객체 검출, 시각적 추적과 통합하는 동시 학습 프레임워크를 조사하여 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 기존 방법과 딥 러닝 기반 PAR 방법은 아키텍처, 특징 학습, 성능 측면에서 어떻게 다릅니까?
• RQ2 다중 레이블 및 다중 작업 학습은 보행자 속성 인식의 정확도와 일반화 능력에 어떤 영향을 미칩니까?
• RQ3 시각적 주의 메커니즘과 부분 기반 모델링은 가림과 시점 변화 상황에서 속성 인식을 어떻게 향상시킬 수 있습니까?
• RQ4 RGB 및 열화상와 같은 다중 모달 데이터는 실생활 감시 시나리오에서 강인성을 어떻게 향상시킬 수 있습니까?
• RQ5 영상 기반 PAR 방법은 단일 이미지 기반 방법보다 시간적 정보를 어떻게 활용하여 동적 속성 예측 성능을 향상시킬 수 있습니까?

주요 결과

• 이 설문조사에서는 딥 러닝 기반 방법이 PA-100K 및 CUHK-PC14와 같은 주요 벤치마크에서 기존의 수작업 특징 기반 접근법보다 뚜렷이 뛰어난 성능을 보이며, 일부 사례에서는 mAP가 20% 이상 향상됨을 확인하였다.
• 부분 기반 및 주의 기반 모델은 '모자 쓰기' 또는 '가방 지참'과 같은 세분화된 속성에 대해 특히 가림 상황에서 뛰어난 성능을 보였다.
• RGB와 열화상 데이터를 이용한 다중 모달 융합은 저조도 및 악천후 조건에서 정확도를 향상시키며, RGB-T 추적 및 재식별 연구에서 이를 입증하였다.
• 시간적 동역학을 활용하는 영상 기반 PAR 방법은 '달리기' 또는 '걷기'와 같은 동적 속성에 대해 더 뛰어난 성능을 보였으며, MAR 데이터셋에서 단일 프레임 기반 기준 대비 mAP가 최대 15% 향상되었다.
• PAR를 인물 재식별 또는 추적과 통합하는 동시 학습 프레임워크는 일관된 성능 향상을 보이며, 속성 학습이 후속 작업의 강인성을 향상시킨다는 점을 시사한다.
• 설문조사에서는 교육 곡선 학습과 새로운 손실 함수(예: 포칼 손실)가 PAR 데이터셋에서 흔히 발생하는 긴 꼬리 클래스 분포 문제를 완화하는 데 기여함을 강조하였다.