[論文レビュー] Omni-Scale Feature Learning for Person Re-Identification

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|May 2, 2019

Video Surveillance and Tracking Methods参考文献 86被引用数 116

ひとこと要約

OSNetは、軽量なマルチストリームブロックと統一ゲートを用いてオムニスケール特徴学習を導入し、マルチスケール特徴を動的に融合することで、少ないモデルサイズで6つの再識別データセットにおいて最先端の結果を達成します。

ABSTRACT

As an instance-level recognition problem, person re-identification (ReID) relies on discriminative features, which not only capture different spatial scales but also encapsulate an arbitrary combination of multiple scales. We call features of both homogeneous and heterogeneous scales omni-scale features. In this paper, a novel deep ReID CNN is designed, termed Omni-Scale Network (OSNet), for omni-scale feature learning. This is achieved by designing a residual block composed of multiple convolutional streams, each detecting features at a certain scale. Importantly, a novel unified aggregation gate is introduced to dynamically fuse multi-scale features with input-dependent channel-wise weights. To efficiently learn spatial-channel correlations and avoid overfitting, the building block uses pointwise and depthwise convolutions. By stacking such block layer-by-layer, our OSNet is extremely lightweight and can be trained from scratch on existing ReID benchmarks. Despite its small model size, OSNet achieves state-of-the-art performance on six person ReID datasets, outperforming most large-sized models, often by a clear margin. Code and models are available at: \url{https://github.com/KaiyangZhou/deep-person-reid}.

研究の動機と目的

• homogeneous かつ heterogeneous なスケールを同時に捉える特徴の必要性（オムニスケール）を動機づける。
• Scratchから効率的にオムニスケール特徴を学習できる軽量CNNアーキテクチャを設計する。
• 入力ごとにスケール固有の特徴を動的に融合する統一ゲートを備えたマルチストリーム残差ブロックを提案する。

提案手法

• パラメータと計算量を削減するため Lite 3x3 depthwise separable convolutions を導入する。
• 複数の受容野を持つ T ストリームとともにオムニスケール残差ブロックを開発し、複数のスケールを捉える。
• x^t の各スケール s に対してチャンネルごとの融合重み G(x^t) を生成する統一 aggregation gate を実装し、入力依存の動的融合を可能にする。
• ブロック内のすべてのストリームで aggregation gate を共有し、トレーニングを安定化させ勾配の流れを確保する。
• 軽量ボトルネックを積み上げて OSNet を構成し、必要に応じて幅と解像度の倍率でスケールさせる。

実験結果

リサーチクエスチョン

• RQ1 軽量ネットワーク内で学習されたオムニスケール特徴が、より大きなバックボーンモデルを人再識別ベンチマークで上回るか。
• RQ2 動的で入力条件付きのマルチスケール特徴のチャンネル-wise 融合は再識別の識別力を高めるか。
• RQ3 ImageNet から微調整した場合と、Scratch から学習させた場合で OSNet は標準的な re-ID データセットでどのような性能を示すか。
• RQ4 提案されたオムニスケール手法は小規模データセットや属性認識のような関連タスクに有効か。
• RQ5 ゲート設計、ストリームの基数 T、融合戦略などのアーキテクチャ選択が性能に与える影響はどれほどか。

主な発見

• OSNet は 6 つの re-ID データセットで最先端の性能を達成し、しばしば大規模な ResNet50 ベースモデルより明確なマージンを示す。
• 2.2M パラメータの OSNet は、多くの大規模ネットワークより優れた性能を、軽量な Lite 3x3 畳み込みを使用しつつ発揮する。
• 動的でチャンネル-wise な統一 aggregation gate は、入力依存のマルチスケール特徴の融合を可能にし、識別性を向上させる。
• OSNet は Scratch から訓練した場合と ImageNet からの微調整でいずれも高い性能を示し、MobileNetV2 や ShuffleNet のような軽量ベースラインを上回る。
• アブレーション研究は、オムニスケール設計、統一ゲート、チャンネル-wise 重み、および動的ゲートが最良の R1/mAP の重要性を示す。