[논문 리뷰] Omni-Scale Feature Learning for Person Re-Identification

Kaiyang Zhou, Yongxin Yang외 2명|arXiv (Cornell University)|2019. 05. 02.

Video Surveillance and Tracking Methods참고 문헌 86인용 수 116

한 줄 요약

OSNet은 가볍고 다중 스트림 블록과 통합 집계 게이트로 omni-scale 특징 학습을 도입하여 다중 스케일 특징을 동적으로 융합하고, 작은 모델로 여섯 개의 re-ID 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

As an instance-level recognition problem, person re-identification (ReID) relies on discriminative features, which not only capture different spatial scales but also encapsulate an arbitrary combination of multiple scales. We call features of both homogeneous and heterogeneous scales omni-scale features. In this paper, a novel deep ReID CNN is designed, termed Omni-Scale Network (OSNet), for omni-scale feature learning. This is achieved by designing a residual block composed of multiple convolutional streams, each detecting features at a certain scale. Importantly, a novel unified aggregation gate is introduced to dynamically fuse multi-scale features with input-dependent channel-wise weights. To efficiently learn spatial-channel correlations and avoid overfitting, the building block uses pointwise and depthwise convolutions. By stacking such block layer-by-layer, our OSNet is extremely lightweight and can be trained from scratch on existing ReID benchmarks. Despite its small model size, OSNet achieves state-of-the-art performance on six person ReID datasets, outperforming most large-sized models, often by a clear margin. Code and models are available at: \url{https://github.com/KaiyangZhou/deep-person-reid}.

연구 동기 및 목표

• homogeneous 및 heterogeneous 스케일을 모두 포착하는 특징의 필요성(omni-scale)으로 robust한 person re-ID를 위한 필요성 동기 부여.
• 처음부터 효율적으로 omni-scale 특징을 학습할 수 있는 경량 CNN 아키텍처 설계.
• 입력마다 스케일-특정 특징을 동적으로 융합하기 위해 통합 게이트를 갖춘 다중 스트림 잔차 블록 제안

제안 방법

• 매개변수 수와 계산량을 줄이기 위해 Lite 3x3 depthwise separable convolutions 도입.
• 다중 스케일을 포착하기 위한 omni-scale 잔차 블록(T개의 증가 수용역을 가진 스트림) 개발.
• x^t의 각 스케일 s에 대해 채널 단위의 융합 가중치 G(x^t)를 생성하는 통합 집계 게이트 구현, 입력 의존적인 동적 융합 가능.
• 블록 내 모든 스트림에서 융합 게이트를 공유하여 훈련 안정화 및 그래디언트 흐름 가능하게 함.
• 경량 병목을 쌓아 OSNet를 전체 네트워크로 구성하고 폭(width) 및 해상도 배수로 확장 가능

실험 결과

연구 질문

• RQ1 경량 네트워크에서 학습된 omni-scale 특징이 더 큰 백본 모델보다 person re-ID 벤치마크에서 우수한 성능을 보일 수 있는가?
• RQ2 다이나믹한 입력 조건에 따른 다중 스케일 특징의 채널-단위 융합이 re-ID의 식별력을 향상시키는가?
• RQ3 OSNet의 From scratch 학습과 ImageNet에서 미세조정 시 표준 re-ID 데이터셋에서의 성능 차이는 어떠한가?
• RQ4 제안된 omni-scale 접근이 작은 데이터셋 및 속성 인식과 같은 관련 작업에 효과적인가?
• RQ5 게이트 설계, 스트림 수(T), 융합 전략 등의 아키텍처 선택이 성능에 미치는 영향은 무엇인가?

주요 결과

• OSNet은 여섯 개의 re-ID 데이터셋에서 최첨단 성능을 달성하며, 종종 더 큰 ResNet50 기반 모델 대비 명확한 여유를 보인다.
• 2.2M 파라미터의 OSNet은 경량 Lite 3x3 컨볼루션을 사용하면서도 더 큰 네트워크를 능가한다.
• 동적 채널-단위 통합 게이트를 통해 입력 의존적인 다중 스케일 특징 융합이 가능해 분리도를 향상시킨다.
• OSNet은 From scratch 학습과 ImageNet에서 미세조정 모두에서 강력한 성능을 보이며 MobileNetV2 및 ShuffleNet과 같은 경량 기준선보다 우수하다.
• ablation 연구는 omni-scale 디자인, 통합 게이트, 채널-단위 가중치 및 동적 게이트의 중요성을 보인다(R1/mAP 최적화에 필요)