[논문 리뷰] HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis

Xihui Liu, Haiyu Zhao외 6명|arXiv (Cornell University)|2017. 09. 28.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 90

한 줄 요약

HydraPlus-Net은 다방향 주의력을 도입하여 다레벨·다스케일 특성을 학습하고 보행자 속성 인식과 사람 재식별 성능을 향상시키며 PA-100K 데이터셋을 도입한다.

ABSTRACT

Pedestrian analysis plays a vital role in intelligent video surveillance and is a key component for security-centric computer vision systems. Despite that the convolutional neural networks are remarkable in learning discriminative features from images, the learning of comprehensive features of pedestrians for fine-grained tasks remains an open problem. In this study, we propose a new attention-based deep neural network, named as HydraPlus-Net (HP-net), that multi-directionally feeds the multi-level attention maps to different feature layers. The attentive deep features learned from the proposed HP-net bring unique advantages: (1) the model is capable of capturing multiple attentions from low-level to semantic-level, and (2) it explores the multi-scale selectiveness of attentive features to enrich the final feature representations for a pedestrian image. We demonstrate the effectiveness and generality of the proposed HP-net for pedestrian analysis on two tasks, i.e. pedestrian attribute recognition and person re-identification. Intensive experimental results have been provided to prove that the HP-net outperforms the state-of-the-art methods on various datasets.

연구 동기 및 목표

• 보행자 분석을 위한 글로벌 표현을 넘어 robuste한 특징 학습을 동기화한다.
• 다중 레벨 특성을 융합하기 위한 다방향 주의(MDA) 메커니즘을 개발한다.
• 주의 기반, 스케일 인식 표현을 활용하여 미세 속성과 재식별에 활용한다.
• HP-net의 보행자 속성 인식 및 사람 재식별 데이터셋에서의 일반성을 입증한다.
• 다양한 장면에 대해 대규모 보행자 속성 데이터 세트 PA-100K를 도입한다.

제안 방법

• Main Net(M-net)과 Attentive Feature Net(AF-net)을 가진 HydraPlus Network(HP-net)을 제안한다.
• 세 개의 다방향 주의(MDA) 모듈을 삽입하여 각 모듈이 네트워크 블록에서 주의 맵을 생성하고 이를 여러 후속 블록에 적용한다.
• 1x1 컨볼루션을 사용하여 BN과 ReLU를 포함한 주의 맵을 생성하고, 채널 크기 L=8을 고정하며, 특징 맵에 요소별 마스킹을 적용한다.
• 다중 레벨의 주의된 특징을 연결하고, 그 뒤에 글로벌 평균 풀링과 최종 로짓 또는 특징 벡터를 얻기 위한 완전 연결층을 적용한다.
• HP-net를 단계별로 학습한다: 먼저 M-net을 학습하고, 그다음 AF-net 가지를 미세 조정하며, 마지막으로 GAP/FC 층을 학습한다.

실험 결과

연구 질문

• RQ1 다층, 다스케일 주의가 구별 가능한 보행자 특징 학습을 어떻게 개선하는가?
• RQ2 인접한 특징 블록 간 주의 맵을 적용하는 것이(다방향) 전통적인 단일 블록 주의보다 더 나은 표현을 제공하는가?
• RQ3 HP-net가 보행자 속성 인식과 사람 재식별 성능을 동시에 향상시키는가?
• RQ4 다층 주의의 다양성과 일관성이 인식 정확도에 어떤 영향을 미치는가?
• RQ5 HP-net가 여러 보행자 분석 데이터셋과 실제 감시 데이터에 일반화되는가?

주요 결과

• HP-net는 보행자 속성 인식 데이터셋 RAP, PETA 및 제안된 PA-100K에서 최첨단 성능을 달성한다.
• 속성 태스크에서 HP-net은 이전 방법들에 비해 특히 안경, 핸드백 같은 미세 속성에서 큰 향상을 제공한다.
• 사람 재식별에 대해, CUHK03, VIPeR, Market-1501에서 각각 Top-1 정확도 91.8/56.6/76.9를 달성하여 여러 베이스라인을 능가하고 M-net 대비 3.6/5.0/3.8 포인트 개선한다.
• 다층 주의력(다른 inception 블록에서의) 은 로우 레벨 텍스처와 하이 레벨 의미 패턴을 포착하고, 다방향 마스킹은 계층 간 특징 융합을 강화한다.
• 100,000장의 보행자 이미지가 598개의 장면으로 구성된 새로운 PA-100K 데이터셋이 도입되어, 속성 인식에 대한 대규모 및 다양한 벤치마크를 제공한다.