[논문 리뷰] Attribute Aware Pooling for Pedestrian Attribute Recognition

Kai Han, Yunhe Wang외 4명|arXiv (Cornell University)|2019. 07. 27.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 13

한 줄 요약

이 논문은 다중 속성 보행자 인식에서 속성의 동시 발생 사전 지식을 다중 지점 컨볼루션 신경망 아키텍처를 통해 활용함으로써 성능을 향상시키는 새로운 방법인 속성 인지 풀링 (AAP)을 제안한다. 개별 지점 예측을 속성 간의 맥락적 상관관계와 통합함으로써, PETA에서 평균 정확도 86.97%를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper expands the strength of deep convolutional neural networks (CNNs) to the pedestrian attribute recognition problem by devising a novel attribute aware pooling algorithm. Existing vanilla CNNs cannot be straightforwardly applied to handle multi-attribute data because of the larger label space as well as the attribute entanglement and correlations. We tackle these challenges that hampers the development of CNNs for multi-attribute classification by fully exploiting the correlation between different attributes. The multi-branch architecture is adopted for fucusing on attributes at different regions. Besides the prediction based on each branch itself, context information of each branch are employed for decision as well. The attribute aware pooling is developed to integrate both kinds of information. Therefore, attributes which are indistinct or tangled with others can be accurately recognized by exploiting the context information. Experiments on benchmark datasets demonstrate that the proposed pooling method appropriately explores and exploits the correlations between attributes for the pedestrian attribute recognition.

연구 동기 및 목표

• 속성이 자주 얽히고 얽히며 동시에 발생하는 다중 속성 보행자 인식의 과제를 해결한다.
• 보행자 이미지의 큰 레이블 공간과 복잡한 속성 상관관계를 처리하는 데에 한계가 있는 기존의 컨볼루션 신경망의 문제점을 해결한다.
• 학습 데이터에서 유도된 속성 동시 발생 패턴의 사전 지식을 활용하여 인식 정확도를 향상시킨다.
• 맥락 인식 의사결정을 다중 지점 컨볼루션 신경망에 통합하는 일반화 가능한 딥 러닝 프레임워크를 개발한다.
• 속성 인지 풀링이 다중 속성 분류 작업에 대한 정규화 기법으로서의 효과를 입증한다.

제안 방법

• 공유된 낮은 계층이 특징을 추출하고, 작업별 지점이 서로 다른 속성 그룹에 집중하는 다중 지점 컨볼루션 신경망 아키텍처를 사용한다.
• 학습 데이터에서 두 개의 동시 발생 행렬 $C$ 및 $ ilde{C}$를 구성하여 속성 동시 발생 통계를 인코딩한다.
• 행렬에서 유도된 동시 발생 사전 지식을 바탕으로 맥락 인식 속성 확률 $P^+$를 추정한다.
• 학습 가능한 융합 파rameter $\lambda$를 통해 개별 지점 예측과 맥락 인식 추정치를 융합하며, 식 $\hat{\mathbf{p}} = (1-\lambda)\mathbf{p} + \lambda P^+$ 형태로 표현한다.
• 배치 크기가 32이고 입력 이미지가 $512 \times 256$로 리사이징된 상태에서 Adam 옵timizer를 사용하여 전체 모델을 미세 조정한다.
• 학습 중에 랜덤 크롭핑을 $448 \times 224$로 적용하고 수평 뒤집기를 수행하며, ImageNet으로 사전 학습된 가중치를 초기화에 사용한다.

실험 결과

연구 질문

• RQ1 속성 동시 발생 사전 지식이 다중 속성 보행자 인식에서 컨볼루션 신경망의 성능을 크게 향상시킬 수 있는가?
• RQ2 관련된 속성에서 유도된 맥락 정보를 통합할 경우, 모호하거나 얽힌 속성의 인식에 어떤 영향을 미치는가?
• RQ3 제안된 속성 인지 풀링 방법이 맥락 통합 기능이 없는 표준 다중 지점 컨볼루션 신경망보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법이 다양한 속성 세트와 데이터 분포를 가진 다른 벤치마크 데이터셋에 일반화 가능한가?
• RQ5 하이퍼파rameter $\lambda$에 의해 제어되는 개별 지점 예측과 맥락 인식 추정치 사이의 최적의 균형은 무엇인가?

주요 결과

• 제안된 CoCNN 모델은 PETA 데이터셋에서 평균 정확도 86.97%를 기록하여 이전의 최신 기술 수준 방법들을 모두 능가했다.
• RAP 및 PA-100K 데이터셋에서, 평균 정확도, 정밀도, F1, 재현율 등 모든 평가 지표에서 최고 또는 두 번째로 높은 점수를 기록했다.
• 다중 지점 아키텍처만으로도 기존의 ResNet-50에 비해 성능 향상을 보였지만, 속성 인지 풀링을 추가함으로써 더욱 뚜렷한 향상이 이루어졌다.
• 정성적 분석 결과, AAP는 "여성" 및 "백팩"과 같은 관련 속성의 맥락을 활용하여 "스커트&드레스" 및 "18세 이하 아님" 등의 잘못된 예측를 수정하는 데 성공했다.
• PETA에서 최적의 성능을 내기 위해 최적의 하이퍼파rameter $\lambda = 0.2$가 도출되었으며, 이는 개별 예측과 맥락 인식 추정치 사이의 균형을 잘 맞춘 결과였다.
• 동일한 $\lambda = 0.2$ 설정이 세 가지 벤치마크 데이터셋 전반에서 재조정 없이도 효과적으로 작동하여, 강건성과 일반화 능력을 입증했다.