[논문 리뷰] Pedestrian Attribute Recognition in Video Surveillance Scenarios Based on View-attribute Attention Localization

Wei‐Chen Chen, Xinyi Yu외 1명|arXiv (Cornell University)|2021. 06. 11.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 4

한 줄 요약

이 논문은 시각별 주의와 영역 주의를 활용하여 속성 국소화 및 인식 정확도를 향상시키는 비디오 감시에서 보행자 속성 인식을 위한 새로운 방법인 View-attribute Attention Localization (VALA)를 제안한다. 시각 예측을 주의 메커니즘과 통합함으로써 VALA는 RAP, RAPv2, PA-100K 데이터셋에서 최신 기술 수준의 성능을 달성하며, 시각과 공간 주의 감독을 통한 통합적 접근을 통해 우수한 국소화 및 인식 능력을 입증한다.

ABSTRACT

Pedestrian attribute recognition in surveillance scenarios is still a challenging task due to the inaccurate localization of specific attributes. In this paper, we propose a novel view-attribute localization method based on attention (VALA), which utilizes view information to guide the recognition process to focus on specific attributes and attention mechanism to localize specific attribute-corresponding areas. Concretely, view information is leveraged by the view prediction branch to generate four view weights that represent the confidences for attributes from different views. View weights are then delivered back to compose specific view-attributes, which will participate and supervise deep feature extraction. In order to explore the spatial location of a view-attribute, regional attention is introduced to aggregate spatial information and encode inter-channel dependencies of the view feature. Subsequently, a fine attentive attribute-specific region is localized, and regional weights for the view-attribute from different spatial locations are gained by the regional attention. The final view-attribute recognition outcome is obtained by combining the view weights with the regional weights. Experiments on three wide datasets (RAP, RAPv2, and PA-100K) demonstrate the effectiveness of our approach compared with state-of-the-art methods.

연구 동기 및 목표

• 감시 조건에서 보행자 속성 인식 시 정확도가 떨어지는 국소화 문제를 해결하기 위해.
• 다양한 시각 정보와 주의 메커니즘을 활용하여 관련 신체 부위에 집중함으로써 인식 성능을 향상시키기 위해.
• 주의 감독을 통해 시각 추정과 속성 국소화를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 속성 전용 영역에 대해 채널 간 상관관계와 공간 주의를 모델링하여 특징 표현을 향상시키기 위해.

제안 방법

• 시각 예측 브랜치는 앞면, 뒷면, 왼쪽, 오른쪽 등 다양한 시각에서의 속성에 대한 신뢰도를 나타내는 네 개의 시각 가중치를 생성한다.
• 시각 가중치는 특징 맵과 융합되어 주의 감독을 통해 깊은 특징 추출을 이끄는 시각-속성 표현을 형성한다.
• 영역 주의는 시각별 특징 내 공간적 의존성과 채널 간 관계를 인코딩하여 속성과 관련된 영역을 국소화하는 데 적용된다.
• 영역 주의를 통해 생성된 공간적으로 인식된 영역 가중치는 속성 전용 신체 부위의 국소화를 정밀하게 개선한다.
• 최종 속성 인식은 시각 가중치와 영역 가중치를 가중치 융합 기법을 통해 통합함으로써 달성된다.
• 모델은 시각 및 속성 국소화에서의 감독을 받으며, RAP, RAPv2, PA-100K 세 가지 벤치마크 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다양한 시각 정보를 효과적으로 활용하여 보행자 인식에서 속성 국소화를 향상시킬 수 있는가?
• RQ2 주의 메커니즘이 감시 영상에서 속성 전용 신체 부위의 국소화를 향상시킬 수 있는가?
• RQ3 시각 예측과 영역 주의의 통합 감독이 인식 정확도 향상에 어느 정도 기여하는가?
• RQ4 기존의 주의 또는 국소화 방법과 비교해 볼 때 제안된 시각-속성 주의 메커니즘은 표준 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• VALA는 RAP, RAPv2, PA-100K 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 속성 인식 정확도에서 뛰어난 성능을 보였다.
• 시각 가중치와 영역 주의의 통합은 속성과 관련된 신체 부위의 국소화 정밀도를 크게 향상시켰다.
• 시각 예측 브랜치는 다양한 보행자 시각에서 속성 인식에 대한 신뢰도 기반 가이던스를 제공함으로써 모델의 강건성을 향상시켰다.
• 제거 실험 결과, 시각 감독과 영역 주의 모두 성능 향상에 기여한다는 것이 확인되었다.
• 주의 기반 국소화와 시각 인식 특징 학습 덕분에 다양한 감시 환경에서 뛰어난 일반화 성능을 보였다.