[논문 리뷰] Localization Guided Learning for Pedestrian Attribute Recognition

Pengze Liu, Xihui Liu외 2명|arXiv (Cornell University)|2018. 08. 28.

Video Surveillance and Tracking Methods인용 수 44

한 줄 요약

LG-Net은 속성-특정 로컬라이제이션을 도입해 로컬 특징 추출을 가이드하며, CAM-가이드 로컬 특징과 글로벌 특징을 융합해 다수의 지표에서 RAP 및 PA-100K에 대해 최첨단 성능을 달성한다.

ABSTRACT

Pedestrian attribute recognition has attracted many attentions due to its wide applications in scene understanding and person analysis from surveillance videos. Existing methods try to use additional pose, part or viewpoint information to complement the global feature representation for attribute classification. However, these methods face difficulties in localizing the areas corresponding to different attributes. To address this problem, we propose a novel Localization Guided Network which assigns attribute-specific weights to local features based on the affinity between proposals pre-extracted proposals and attribute locations. The advantage of our model is that our local features are learned automatically for each attribute and emphasized by the interaction with global features. We demonstrate the effectiveness of our Localization Guided Network on two pedestrian attribute benchmarks (PA-100K and RAP). Our result surpasses the previous state-of-the-art in all five metrics on both datasets.

연구 동기 및 목표

• 저해상도 및 시점 변동에서도 강건한 보행자 속성 인식을 촉진한다.
• 속성-특정 로컬 특징을 학습하기 위한 localization guided 네트워크를 제안한다.
• 클래스 활성 맵(CAM)을 활용해 정확한 속성 로컬라이제이션을 이끈다.
• 친화도 기반 가중치 메커니즘으로 글로벌 특징과 로컬 특징을 융합한다.
• 대규모 보행자 속성 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 고정된 글로벌 분기와 로컬 분기를 갖는 이원 LG-Net.
• 글로벌 분기가 속성에 대한 CAM(class activation maps)과 CAM 박스를 생성한다.
• 로컬 분기가 EdgeBoxes 제안으로부터 ROI-풀링 특징을 추출한다.
• Localization Guidance 모듈은 CAM 박스와 제안 간의 IoU를 사용해 CAM-ROI 친화도에 따라 로컬 특징에 가중치를 부여한다.
• 특성 예측을 위한 글로벌 및 로컬 가이드 특징의 원소별 합으로 융합한다.
• 2단계 학습: ImageNet으로부터 사전 학습된 모델에서 글로벌 분기를 초기화하고 LG-Net 학습 동안 로컬라이제이션 구성요소를 고정한다.

실험 결과

연구 질문

• RQ1 속성-특정 로컬라이제이션이 보행자 속성의 로컬 특징 추출 신뢰성을 향상시킬 수 있는가?
• RQ2 CAM-가이드 로컬라이제이션과 ROI 가중 로컬 특징이 기존의 부문/포즈/어텐션 기반 방법들보다 우수한가?
• RQ3 제안된 글로벌 및 로컬 특징의 융합이 감시 조건에서 다중 라벨 속성 예측에 효과적인가?
• RQ4 로컬라이제이션 구성요소가 전체 성능과 로컬라이제이션 정확도에 어떤 영향을 미치는가?

주요 결과

방법	RAP_mA	RAP_Accu	RAP_Prec	RAP_Recall	RAP_F1	PA100K_mA	PA100K_Accu	PA100K_Prec	PA100K_Recall	PA100K_F1
ELF+SVM	69.94	29.29	32.84	71.18	-	44.95	-	-	-	-
CNN+SVM	72.28	31.72	35.75	71.78	-	-	-	-	-	-
ACN	69.66	62.61	80.12	72.26	75.98	-	-	-	-	-
DeepMar	73.79	62.02	74.92	76.21	75.56	75.56	80.42	81.32	80.42	81.32
HP-Net	76.12	65.39	77.33	78.79	78.05	78.05	82.97	82.53	82.09	82.53
JRL	77.81	-	78.11	78.98	78.58	-	-	-	-	-
VeSPA	77.70	67.35	79.51	79.67	79.59	79.59	84.99	81.49	83.20	83.20
Inception-v2	75.43	65.94	79.78	77.05	78.39	78.39	84.12	80.30	82.17	82.17
LG-Net	78.68	68.00	80.36	79.82	80.09	80.09	76.96	83.17	85.04	85.04

• LG-Net은 RAP와 PA-100K에서 다섯 개의 평가 지표를 통해 이전 최첨단을 상회한다.
• RAP에서 LG-Net은 mA 78.68, Accu 68.00, Prec 80.36, Recall 79.82, F1 80.09를 달성한다.
• PA-100K에서 LG-Net은 mA 80.09, Accu 76.96, Prec 83.17, Recall 85.04, F1 85.04를 달성한다.
• Localization 가이던스는 성능을 크게 향상시키며, 로컬라이제이션을 제거했을 때 정확도가 4.4% 포인트 증가하는 것을 애블레이션에서 보였다.
• CAM으로 생성된 로컬화 박스, IoU 기반 친화도, ROI 기반 로컬 특징이 기존 베이스라인 및 이전 방법들보다 개선을 이끈다.