[논문 리뷰] FPB: Feature Pyramid Branch for Person Re-Identification

Suofei Zhang, Zirui Yin외 4명|arXiv (Cornell University)|2021. 08. 04.

Video Surveillance and Tracking Methods참고 문헌 64인용 수 9

한 줄 요약

이 논문은 사람 재식별을 위한 경량 특징 피라미드 브랜치(FPB)를 제안하며, 이중 피라미드 구조를 통해 다중 척도 특징을 융합하여 특징 표현을 향상시킵니다. 주목사용 모듈과 교차 수직성 정규화를 통합함으로써 150만 개 미만의 추가 파rameter로 성능을 향상시켜 기존 최고 수준의 방법들을 능가하며, 낮은 모델 복잡도를 유지합니다.

ABSTRACT

High performance person Re-Identification (Re-ID) requires the model to focus on both global silhouette and local details of pedestrian. To extract such more representative features, an effective way is to exploit deep models with multiple branches. However, most multi-branch based methods implemented by duplication of part backbone structure normally lead to severe increase of computational cost. In this paper, we propose a lightweight Feature Pyramid Branch (FPB) to extract features from different layers of networks and aggregate them in a bidirectional pyramid structure. Cooperated by attention modules and our proposed cross orthogonality regularization, FPB significantly prompts the performance of backbone network by only introducing less than 1.5M extra parameters. Extensive experimental results on standard benchmark datasets demonstrate that our proposed FPB based model outperforms state-of-the-art methods with obvious margin as well as much less model complexity. FPB borrows the idea of the Feature Pyramid Network (FPN) from prevailing object detection methods. To our best knowledge, it is the first successful application of similar structure in person Re-ID tasks, which empirically proves that pyramid network as affiliated branch could be a potential structure in related feature embedding models. The source code is publicly available at https://github.com/anocodetest1/FPB.git.

연구 동기 및 목표

• 사람 재식별 모델에서 높은 성능과 낮은 계산 비용을 균형 있게 확보하는 과제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 효과적인 다중 척도 특징 추출 및 융합을 가능하게 하기 위해.
• 객체 검출에서 사용되는 특징 피라미드 네트워크(FPN) 구조를 사람 Re-ID에 적응시킬 수 있는지를 탐색하기 위해.
• 주목사용 기반 기법과 정규화를 통해 특징의 다양성과 구별 능력을 향상시키기 위해.
• 더 큰 백본이나 앙상블 방법에 의존하지 않고도 최소한의 파arameter 확장으로 성능 향상을 달성할 수 있음을 입증하기 위해.

제안 방법

• FPB는 비대칭적이고 경량적인 브랜치로 설계되어 백본 네트워크에 부착되며, 다중 척도 특징 추출을 가능하게 합니다.
• 백본 네트워크의 다양한 단계에서의 특징을 융합하기 위해 이중 피라미드 구조를 활용합니다.
• 자기 주목사용 모듈을 적용하여 채널 간 상관관계를 향상시키고 특징 맵 내에서 구별 능력 있는 특징을 강조합니다.
• 고수준 및 저수준 특징 브랜치 간의 중복을 줄이기 위해 교차 수직성 정규화(COR)를 도입합니다.
• 최종 임bedding은 전반적인 백본과 FPB의 특징를 연결한 후, 엔드 투 엔드 학습을 위한 트리플릿 손실을 적용하여 형성됩니다.
• 기존의 ResNet 백본과 호환되며, 기존 Re-ID 프레임워크에 쉽게 통합할 수 있습니다.

실험 결과

연구 질문

• RQ1 객체 검출에서 유래한 피라미드 기반 특징 융합 구조가 사람 재식별에 효과적으로 적용될 수 있는가?
• RQ2 경량이고 다중 척도 특징 브랜치를 도입함으로써 모델 파arameter의 증가 없이 성능 향상을 달성할 수 있는가?
• RQ3 주목사용 기반 기법과 수직성 정규화가 Re-ID에서 특징의 다양성과 모델 정확도 향상에 어느 정도 기여하는가?
• RQ4 기존의 다중 브랜치 또는 파트 기반 아키텍처와 비교할 때 제안된 FPB의 정확도 및 효율성은 어떠한가?
• RQ5 더 큰 모델에 비해 파arameter가 적은 작고 비대칭적인 다중 브랜치 설계가 성능에서 승리할 수 있는가?

주요 결과

• FPB 기반 모델은 모든 표준 사람 재식별 벤치마크에서 150만 개 미만의 추가 파arameter로 최고 성능을 달성합니다.
• Market-1501, DukeMTMC-reID, CUHK03 데이터셋에서 유사 파aram터 수를 가진 모델 대비 mAP 향상률이 5% 이상입니다.
• Pyramid, ABD, LocalCNN 등 5000만 개 이상의 파arameter를 사용하는 방법들보다도 성능이 뛰어나며, 훨씬 적은 파arameter를 사용합니다.
• 제거 실험 결과, 주목사용과 교차 수직성 정규화 모두 성능 향상에 기여하며, COR은 브랜치 간 특징 중복을 감소시킴을 확인했습니다.
• 시각화 결과는 FPB가 국소적 세부 사항에 집중하는 반면, 백본은 전반적인 신체 부위에 집중함을 보여주며, 상호 보완적인 특징 학습을 확인했습니다.
• 파트 기반 특징 브랜치에 3개의 파트를 사용할 경우 최적의 성능을 기록하며, 더 많은 파트를 사용한 구성보다 우수한 성능을 보였습니다. 이는 전반적인 브랜치와 조합될 경우 더 적은 수의 파트로도 충분함을 시사합니다.