[論文レビュー] Learning Generalisable Omni-Scale Representations for Person Re-Identification

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 15, 2019

Video Surveillance and Tracking Methods参考文献 105被引用数 49

ひとこと要約

OSNet は動的集約ゲートとインスタンス正規化を用いてオムニスケール特徴を学習し、同一ドメインの re-ID で最先端の結果を達成するとともに、ターゲットドメインデータを用いずに強力なクロスドメイン一般化を実現する。

ABSTRACT

An effective person re-identification (re-ID) model should learn feature representations that are both discriminative, for distinguishing similar-looking people, and generalisable, for deployment across datasets without any adaptation. In this paper, we develop novel CNN architectures to address both challenges. First, we present a re-ID CNN termed omni-scale network (OSNet) to learn features that not only capture different spatial scales but also encapsulate a synergistic combination of multiple scales, namely omni-scale features. The basic building block consists of multiple convolutional streams, each detecting features at a certain scale. For omni-scale feature learning, a unified aggregation gate is introduced to dynamically fuse multi-scale features with channel-wise weights. OSNet is lightweight as its building blocks comprise factorised convolutions. Second, to improve generalisable feature learning, we introduce instance normalisation (IN) layers into OSNet to cope with cross-dataset discrepancies. Further, to determine the optimal placements of these IN layers in the architecture, we formulate an efficient differentiable architecture search algorithm. Extensive experiments show that, in the conventional same-dataset setting, OSNet achieves state-of-the-art performance, despite being much smaller than existing re-ID models. In the more challenging yet practical cross-dataset setting, OSNet beats most recent unsupervised domain adaptation methods without using any target data. Our code and models are released at exttt{https://github.com/KaiyangZhou/deep-person-reid}.

研究の動機と目的

• 人の re-ID の識別性とドメイン一般化可能な特徴学習を動機づける。
• 異種のスケールを持つ局所的およびグローバルな手がかりを捉えるオムニスケール特徴学習を提案する。
• 効率のための分解畳み込みを用いた軽量な OSNet アーキテクチャを導入する。
• スタイル/ドメイン間のギャップを減らすためにインスタンスノーマライゼーション（IN）を組み込み、微分可能なアーキテクチャ探索を介してIN配置を最適化する。
• 同一ドメインの re-ID で最先端の性能を示し、ターゲットデータなしで強力なクロスドメイン一般化を実現する。

提案手法

• 受容野が増加する複数の畳み込みストリームを備えたオムニスケールネットワーク（OSNet）を開発する。
• 入力に基づいてチャンネルごとにマルチスケール特徴を動的に融合する統一集約ゲート（AG）を導入する。
• OSNetを軽量に保つためにDepthwise Separable（Lite 3x3）畳み込みを採用する（2.2M パラメータ）。
• OSNet にインスタンスノーマライゼーション（IN）を組み込み、データセット横断のスタイル差を解消する。
• 4ブロックのIN設計空間に対して微分可能なニューラルアーキテクチャ探索（NAS）を定式化し、最適なIN配置を決定する（OSNet-AIN）。

実験結果

リサーチクエスチョン

• RQ1 オムニスケール特徴学習は多様な外観に跨る re-ID の識別性を向上させることができるか。
• RQ2 IN を組み込み、NAS 指向の IN 配置がターゲットデータなしでデータセット間一般化を向上させるか。
• RQ3 OSNet は同一データセット内およびデータセット間設定のいずれにおいても、より大きな標準アーキテクチャとどのように比較されるか。
• RQ4 軽量でマルチスケール融合を備えたアプローチは、実用的な大規模展開に有効か。

主な発見

• OSNet は 2.2M パラメータしかなく、大規模な re-ID データセットで競合的に最先端の結果を達成する（ResNet50 ベースのモデルよりはるかに小さい）。
• OSNet（本研究）は Market1501 R1 93.6 および mAP 81.0；CUHK03 R1 57.1 および mAP 54.2；Duke R1 84.7 および mAP 68.6；MSMT17 R1 71.0 および mAP 43.3 を達成。
• IN を含むOSNet の派生形（OSNet-AIN）は、ターゲットデータなしで多くの無監督ドメイン適応法を上回る強力なクロスドメイン一般化を示す。
• いくつかの比較ベースライン（例：MobileNetV2、HAN、Auto-ReID）もOSNetの競争力と効率性を示しており、オムニスケールとAG融合の利点を強調している。