[논문 리뷰] Deep Attention Aware Feature Learning for Person Re-Identification

Yifan Chen, Han Wang외 3명|arXiv (Cornell University)|2020. 03. 01.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 백본 네트워크를 수정하지 않고 학습 중에 통합적(전체) (HAB) 및 국소적(부분) (PAB) 주의 분기(branch)를 추가하여 경량이며 구조에 종속되지 않는 주의 메커니즘을 제안한다. 이 방법은 채널별 분리 기반으로 사람 전체(모델링)와 신체 부위(모델링)에 초점을 맞춰 특징의 구별 능력을 향상시키며, 추론 시간이나 모델 크기의 증가 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Visual attention has proven to be effective in improving the performance of person re-identification. Most existing methods apply visual attention heuristically by learning an additional attention map to re-weight the feature maps for person re-identification. However, this kind of methods inevitably increase the model complexity and inference time. In this paper, we propose to incorporate the attention learning as additional objectives in a person ReID network without changing the original structure, thus maintain the same inference time and model size. Two kinds of attentions have been considered to make the learned feature maps being aware of the person and related body parts respectively. Globally, a holistic attention branch (HAB) makes the feature maps obtained by backbone focus on persons so as to alleviate the influence of background. Locally, a partial attention branch (PAB) makes the extracted features be decoupled into several groups and be separately responsible for different body parts (i.e., keypoints), thus increasing the robustness to pose variation and partial occlusion. These two kinds of attentions are universal and can be incorporated into existing ReID networks. We have tested its performance on two typical networks (TriNet and Bag of Tricks) and observed significant performance improvement on five widely used datasets.

연구 동기 및 목표

• 모델 복잡성 또는 추론 시간의 증가 없이 주의 메커니즘을 통합하여 인물 재식별 성능을 향상시키는 것.
• 배경 혼잡, 자세 변화, 부분적 가림 등의 과제를 특징 맵 내 암묵적 주의 학습을 통해 해결하는 것.
• 추가적인 네트워크 분기나 레이어를 추가하지 않고 학습 중 추가 감독을 통해 주의 학습을 가능하게 하는 것.
• 다른 신체 부위에 대한 특징 분리 능력을 향상시키기 위해 채널별 주의를 탐색함으로써, 가림 및 자세 변화에 대한 강건성을 높이는 것.
• 구조적 수정 없이 다양한 백본 네트워크와 벤치마크에서의 일반화 능력을 검증하는 것.

제안 방법

• 백본이 사람에 초점을 맞추도록 유도하기 위해 사람 마스크를 예측하는 통합적 주의 분기(HAB)를 도입하여 배경 간섭을 줄인다.
• 공유된 디컨볼루션 디코더를 사용하여 관절 히트맵을 예측함으로써, 서로 다른 신체 부위에 대해 채널별 특징 분리를 강제하는 국소적 주의 분기(PAB)를 제안한다.
• PAB에서 공유 가중치 디컨볼루션 레이어를 사용하여 디코더가 특정 신체 부위에 편향되지 않도록 하여, 각 채널 그룹에 대한 주의 특이성을 유지한다.
• 특징 채널을 그룹화하고 특정 신체 부위에 할당하기 위해 1×1 컨볼루션 레이어를 사용하며, 제거 실험에서 특징 맵이 출력 주의 패턴을 결정함을 확인했다.
• 기본 ReID 네트워크와 함께 HAB와 PAB를 동시에 최적화하며, 아키텍처 변경 없이 추가 감독 신호만을 사용한다.
• 기존 ReID 네트워크(예: TriNet, Bag of Tricks)에 이 방법을 적용하여 원래의 추론 속도와 모델 크기를 유지하면서도 구조 변경 없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 추가적인 네트워크 파rameter나 추론 시간 증가 없이 주의 메커니즘이 ReID 특징 학습에 효과적으로 통합될 수 있는가?
• RQ2 통합적 및 국소적 주의 분기를 함께 최적화함으로써 배경 혼잡과 자세 변화에 대한 강건성이 어떻게 향상되는가?
• RQ3 PAB를 통한 채널별 특징 분리가 부분적 가림 상황에서 분별 능력 향상에 어느 정도 기여하는가?
• RQ4 PAB에서 공유 디코더를 사용할 경우 각 신체 부위별로 독립된 디코더를 사용하는 것보다 주의 특이성을 더 잘 유지하는가?
• RQ5 1×1 컨볼루션 셔플 실험은 특징 맵과 1×1 컨볼루션 레이어 중 어떤 것이 주의 학습에서 주요 역할을 하는지를 어떻게 검증하는가?

주요 결과

• 제안된 방법은 Market-1501 및 DukeMTMC-reID를 포함한 다섯 개의 널리 사용되는 ReID 벤치마크에서 최신 기술 수준의 성능을 달성하며, mAP 및 랭크-1 정확도 향상 효과를 보였다.
• Market-1501에서 Bag of Tricks 백본과 통합했을 때 85.87%의 mAP와 96.12%의 랭크-1 정확도를 기록하여 이전 방법들을 초월했다.
• PAB에서 공유 디코더를 사용할 경우 독립적 디코더보다 더 높은 성능을 기록했으며, 관절 예측에서 +3.83%의 mAP 향상과 부분 이미지 예측에서 +2.74% 향상 효과를 보였다.
• 1×1 컨볼루션 셔플 실험을 통해 주의 패턴은 주로 입력 특징 맵에 의해 결정되며, 1×1 컨볼루션 레이어가 아닌 것으로 확인되어 효과적인 채널별 분리가 이루어졌음을 검증했다.
• 제거 실험 결과 HAB와 PAB 모두 기여가 뚜렷했으며, HAB는 배경 간섭을 감소시키고 PAB는 가림 및 자세 변화에 대한 강건성을 향상시켰다.
• 원래 네트워크와 동일한 추론 시간과 모델 크기를 유지하여 실시간 배포에 효과적임을 입증했다.