[논문 리뷰] Deep Miner: A Deep and Multi-branch Network which Mines Rich and Diverse Features for Person Re-identification

Abdallah Benzine, Mohamed El Amine Seddik외 1명|arXiv (Cornell University)|2021. 02. 18.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 4

한 줄 요약

Deep Miner는 전방위적 특징을 채굴하기 위해 세 가지 상호보완적인 브랜치를 사용하는 다중지점 컨volutional 네트워크 아키텍처를 제안한다: 전역 브랜치, 국소 부위 기반 브랜치, 및 입력 제거 브랜치(IE-브랜치). IE-브랜치는 백본에 의해 忽略된 특징을 복구하도록 설계되었으며, 특징 맵의 고활성 영역을 단순한 억제 연산을 통해 제거함으로써 네트워크가 새로운 분류 가능한 특징을 학습하도록 유도한다. 이로 인해 MSMT17에서 SOTA 대비 6.5%의 mAP 향상을 달성하였다.

ABSTRACT

Most recent person re-identification approaches are based on the use of deep convolutional neural networks (CNNs). These networks, although effective in multiple tasks such as classification or object detection, tend to focus on the most discriminative part of an object rather than retrieving all its relevant features. This behavior penalizes the performance of a CNN for the re-identification task, since it should identify diverse and fine grained features. It is then essential to make the network learn a wide variety of finer characteristics in order to make the re-identification process of people effective and robust to finer changes. In this article, we introduce Deep Miner, a method that allows CNNs to "mine" richer and more diverse features about people for their re-identification. Deep Miner is specifically composed of three types of branches: a Global branch (G-branch), a Local branch (L-branch) and an Input-Erased branch (IE-branch). G-branch corresponds to the initial backbone which predicts global characteristics, while L-branch retrieves part level resolution features. The IE-branch for its part, receives partially suppressed feature maps as input thereby allowing the network to "mine" new features (those ignored by G-branch) as output. For this special purpose, a dedicated suppression procedure for identifying and removing features within a given CNN is introduced. This suppression procedure has the major benefit of being simple, while it produces a model that significantly outperforms state-of-the-art (SOTA) re-identification methods. Specifically, we conduct experiments on four standard person re-identification benchmarks and witness an absolute performance gain up to 6.5% mAP compared to SOTA.

연구 동기 및 목표

• CNN 모델이 인물 재식별에서 가장 분류 가능한 특징에만 집중하여 미세한 구조적 특징과 다양한 특징을 忽略하는 경향이 있다는 한계를 해결하기 위해.
• 자세, 조명, 시점 변화와 같은 외관 변화에 대한 강건성을 향상시키기 위해 네트워크가 더 넓은 범위의 특징을 학습하도록 유도하기 위해.
• 모델 복잡도를 증가시키지 않거나 복잡한 아키텍처를 요구하지 않는 간단하면서도 효과적인 방법을 개발하기 위해.
• 입력 제거 브랜치를 통한 특징 채굴 전략이 표준 벤치마크에서 특히 저자료 환경에서 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 모델은 세 가지 브랜치를 통합한다: 원본 CNN 백본을 사용하여 표준 전역 특징을 추출하는 전역 브랜치(G-브랜치).
• 균일한 분할을 적용하여 국소 부위 수준의 특징을 추출하는 국소 브랜치(L-브랜치), 이는 미세한 구조적 표현 학습을 향상시킨다.
• 고활성 영역이 억제된 특징 맵을 입력으로 받는 입력 제거 브랜치(IE-브랜치), 이는 백본에 의해 忽略된 특징을 복구하도록 설계되었다.
• 억제 연산은 활성화 크기를 기반으로 특징을 선택적으로 제거하여 IE-브랜치가 보다 보완적인 특징을 채굴할 수 있는 새로운 입력 공간을 생성한다.
• G-브랜치와 IE-브랜치에 주의 메커니즘을 적용하여 특징 표현을 향상시키고 배경 노이즈를 감소시킨다.
• 모든 브랜치의 최종 특징을 융합하여 재식별을 위해 사용하며, 더 풍부하고 다양한 인물 임bedding을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 제거 브랜치를 포함한 다중지점 CNN 아키텍처가 인물 재식별에서 특징 다양성과 표현의 풍부함을 크게 향상시킬 수 있는가?
• RQ2 IE-브랜치에서 억제 기반 특징 채굴 전략이 표준 전역 또는 국소 기반 특징 학습보다 더 높은 성능을 내는가?
• RQ3 다양한 데이터 복잡도를 가진 다양한 벤치마크에서 제안된 방법이 mAP 및 Rank-1 정확도 측면에서 SOTA 기법과 비교해 어떻게 성능을 내는가?
• RQ4 저자료 또는 과도한 조건(예: 샘플 수가 제한된 CUHK03)에서도 이 방법이 효과적으로 일반화되는가?
• RQ5 억제 연산의 단순성 덕분에 복잡한 아키텍처 수정 없이도 뛰어난 성능을 달성할 수 있는가?

주요 결과

• Deep Miner는 MSMT17 데이터셋에서 가장 크고 복잡한 인물 재식별 벤치마크에서 SOTA 최고 성능 대비 6.5%의 절대 mAP 향상을 달성하였다.
• DukeMTMC-ReID에서 Deep Miner는 레이블링된 경우 84.7% mAP, 탐지된 경우 81.4% mAP를 기록하여 SCSN 및 Pyramid를 포함한 SOTA 기법을 초월하였다.
• CUHK03에서 Deep Miner는 레이블링된 분할에서 PLR OSNet 대비 4.2% mAP 향상, 탐지된 분할에서는 3.2% 향상하여 저자료 조건에서도 뛰어난 성능을 보였다.
• 단지 ResNet-50과 단순한 4스트립 국소 브랜치만을 사용했음에도 불구하고, 피라미드 특징 세트를 사용하는 Pyramid 및 MGN과 같은 더 복잡한 모델들을 능가하였다.
• Market1501, DukeMTMC-ReID, CUHK03, MSMT17의 네 가지 표준 벤치마크에서 모두 최고 성능의 mAP를 기록하였으며, 모든 데이터셋에서 일관된 성능 향상을 보였다.
• 특징 시각화 결과는 IE-브랜치가 전역 브랜치가 놓친 새로운 관련 특징(예: 옷 패턴, 가방, 액세서리 등)을 효과적으로 채굴하고 있음을 확인하였다.