[논문 리뷰] Learning Generalisable Omni-Scale Representations for Person Re-Identification

Kaiyang Zhou, Yongxin Yang외 2명|arXiv (Cornell University)|2019. 10. 15.

Video Surveillance and Tracking Methods참고 문헌 105인용 수 49

한 줄 요약

OSNet은 다중 스케일 특징을 동적 집계 게이트와 인스턴스 정규화로 학습하여, 동일 도메인 재식별에서 최첨단(SOTA) 성과를 달성하고 대상 도메인 데이터 없이도 강력한 교차 도메인 일반화를 달성한다.

ABSTRACT

An effective person re-identification (re-ID) model should learn feature representations that are both discriminative, for distinguishing similar-looking people, and generalisable, for deployment across datasets without any adaptation. In this paper, we develop novel CNN architectures to address both challenges. First, we present a re-ID CNN termed omni-scale network (OSNet) to learn features that not only capture different spatial scales but also encapsulate a synergistic combination of multiple scales, namely omni-scale features. The basic building block consists of multiple convolutional streams, each detecting features at a certain scale. For omni-scale feature learning, a unified aggregation gate is introduced to dynamically fuse multi-scale features with channel-wise weights. OSNet is lightweight as its building blocks comprise factorised convolutions. Second, to improve generalisable feature learning, we introduce instance normalisation (IN) layers into OSNet to cope with cross-dataset discrepancies. Further, to determine the optimal placements of these IN layers in the architecture, we formulate an efficient differentiable architecture search algorithm. Extensive experiments show that, in the conventional same-dataset setting, OSNet achieves state-of-the-art performance, despite being much smaller than existing re-ID models. In the more challenging yet practical cross-dataset setting, OSNet beats most recent unsupervised domain adaptation methods without using any target data. Our code and models are released at exttt{https://github.com/KaiyangZhou/deep-person-reid}.

연구 동기 및 목표

• 사람 재식별을 위한 식별력과 도메인 일반화 가능한 특징 학습의 동기를 제시한다.
• 다양한 스케일로 로컬 및 글로벌 신호를 포착하기 위한 omni-scale 특징 학습을 제안한다.
• 효율성을 위한 분해 합성곱으로 경량 OSNet 아키텍처를 도입한다.
• 교차 데이터셋 스타일 차이를 해결하기 위해 IN을 도입하고, 차분 가능 아키텍처 검색을 통해 IN 배치를 최적화한다.
• 동일 도메인 재식별에서 최첨단 성능과 대상 데이터 없이도 강력한 교차 도메인 일반화를 입증한다.

제안 방법

• 수용 필드 크기가 증가하는 다중 합성곱 스트림을 갖춘 omni-scale 네트워크(OSNet)를 개발한다.
• 입력에 조건화된 채널별로 다중 스케일 특징을 동적으로 융합하기 위한 통합 집계 게이트(AG)를 도입한다.
• OSNet을 경량화하기 위해 depthwise separable(Lite 3x3) 합성곱을 채택한다(매개변수 2.2M).
• 교차 데이터셋 스타일 차이를 해결하기 위해 OSNet에 인스턴스 정규화(IN)를 도입한다.
• 네 개 블록의 IN 설계 공간에서 차분 가능한 NAS를 4-block IN-design 공간에 대해 형식화하여 최적의 IN 배치를 결정한다(OSNet-AIN).

실험 결과

연구 질문

• RQ1 다양한 외관에서 재식별의 판별력을 오미-스케일 특징 학습이 향상시킬 수 있는가?
• RQ2 IN과 NAS가 안내하는 IN 배치를 도입하면 대상 도메인 데이터 없이도 교차 데이터셋 일반화가 향상되는가?
• RQ3 OSNet이 같은 데이터셋 내외의 설정에서 더 큰 표준 아키텍처와 어떻게 비교되는가?
• RQ4 경량화된 다중 스케일 융합 접근 방식이 실제 대규모 배치에 효과적인가?

주요 결과

• OSNet은 2.2M 매개변수로 대형 재식별 데이터셋에서 최신(SOTA) 성과에 근접하게 도달한다(ResNet50 기반 모델보다 현저히 작다).
• 대형 데이터셋에서 OSNet(본 연구)은 Market1501 R1 93.6 및 mAP 81.0; CUHK03 R1 57.1 및 mAP 54.2; Duke R1 84.7 및 mAP 68.6; MSMT17 R1 71.0 및 mAP 43.3을 달성한다.
• IN이 포함된 OSNet 변형(OSNet-AIN)은 강력한 교차 도메인 일반화를 보여주며, 대상 데이터 없이도 많은 비지도 도메인 적응 방법을능가한다.
• 여러 비교 베이스라인(예: MobileNetV2, HAN, Auto-ReID)은 OSNet의 경쟁력과 효율성을 보여주며, 올-스케일 및 AG 융합의 이점을 강조한다.