[論文レビュー] Fast and Accurate Person Re-Identification with RMNet

Evgeny Izutov|arXiv (Cornell University)|Dec 6, 2018

Video Surveillance and Tracking Methods参考文献 6被引用数 7

ひとこと要約

本稿では、高速かつ高精度な人物再識別を実現する軽量なCNNバックボーンであるRMNetを提案する。最適化された多様体学習損失と新規の軽量ヘッドを組み合わせることで、CPU上で最大923 FPSの推論速度を達成し、SOTAの精度を実現した。本手法は、既存のモデルと比較して速度面で1桁以上優れており、mAPおよびrank@1スコアも競争力を持つ。

ABSTRACT

In this paper we introduce a new neural network architecture designed to use in embedded vision applications. It merges the best working practices of network architectures like MobileNets and ResNets to our named RMNet architecture. We also focus on key moments of building mobile architectures to carry out in the limited computation budget. Additionally, to demonstrate the effectiveness of our architecture we evaluate the RMNet backbone on Person Re-identification task. The proposed approach is in top 3 of state of the art solutions on Market-1501 challenge, however our method significantly outperforms them by the inference speed.

研究の動機と目的

• 消費者向けハードウェア上でリアルタイムに動作するタスク特化型の軽量CNNアーキテクチャを設計すること。
• バックボーンとトレーニング戦略を共同で最適化することで、モデルの精度と推論速度のトレードオフを解消すること。
• ResNet-50 やマルチブランチネットワークのような重いアーキテクチャに依存せずに、人物再識別性能を向上させること。
• 互換性のないソースから組み合わせたモジュラーなコンponentsの代わりに、特定タスク向けに直接設計されたアーキテクチャが優れた性能を発揮できることを示すこと。
• 標準CPU上で効率的な推論を実現し、1フレームあたり複数人の比較をリアルタイムで処理できること。

提案手法

• 標準的なバックボーン（例：ResNet-50）に代わって、モバイルおよびリアルタイム推論に最適化された軽量なCNNバックボーンRMNetを提案する。
• パラメータ数を増加させずに低レベルおよび高レベルの監視信号を統合する新規なネットワークヘッドを導入する。
• AM-Softmax、Center、Push、GlobPush損失を含むマルチ損失トレーニング戦略を採用し、特徴多様体の構造を強化する。
• スマートマージンとハードサンプルマイニング（HSM）を適用することで、一般化性能とクラス不均衡へのロバストネスを向上させる。
• 軽量設定におけるトレーニング安定性と性能向上を図るため、ReLUの代わりにELU活性化関数を採用する。
• 複数の損失信号を統合した一貫性のあるランク付け基準に統合する柔軟なサンプルマイニング戦略を採用し、最適化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 軽量でタスク特化型のCNNバックボーンは、リアルタイム推論を可能にしつつ、人物再識別で準SOTAの精度を達成できるか？
• RQ2 スマートマージンを用いたマニフォールド学習損失（例：Push, GlobPush）の組み合わせは、モデルサイズを増加させずに埋め込み品質を向上させられるか？
• RQ3 活性化関数（ELU対ReLU）やパラメータ共有といったアーキテクチャ的選択が、軽量モデルにおける性能向上にどの程度寄与するか？
• RQ4 マルチブランチや特徴統合モデルに比べ、単一ブランチ・単一ヘッドネットワークが、顕著に高速である一方で、精度を上回れるか？
• RQ5 入力解像度と推論速度のトレードオフは、Market-1501ベンチマーク上で性能にどのように影響を与えるか？

主な発見

• 提案されたRMNetベースのモデルは、Market-1501データセットで92.4%のrank@1および82.5%のmAPを達成し、SOTA手法の中でもrank@1で上位3位、mAPで上位2位の位置を占めた。
• 軽量モデル（0.81 MParams）は、Intel Core i7-6700K CPU上で923 FPSの推論速度を達成し、すべてのSOTAモデルを1桁以上上回る速度性能を示した。
• 解像度を高めたモデル（384×128）は、mAPを82.53%、rank@1を92.37%まで向上させ、解像度スケーリングの恩恵を最小限の速度ペナルティで享受できることを示した。
• スマートマージンとHSMの適用により、学習された特徴多様体の整列性が向上し、mAPが顕著に向上した。
• 後段のトレーニング段階でドロップアウト正則化を無効化すると、顕著な精度向上が得られた。これは、強い正則化下でモデルの容量が制限されていることを裏付けた。
• 最強の設定（0.58 GFLOPs、0.81 MParams）では、rank@1が93.1%、mAPが91.1%を達成し、MGN（RK）をmAPで上回りながらも、はるかに高速であった。