[論文レビュー] Joint Detection and Identification Feature Learning for Person Search

Tong Xiao, Shuang Li+3 more|arXiv (Cornell University)|Apr 7, 2016

Video Surveillance and Tracking Methods被引用数 61

ひとこと要約

本論文は、1つの畳み込みニューラルネットワークを用いて、歩行者の検出と識別を同時に最適化する統合的特徴学習フレームワークを提案する。歩行者検出と再識別が同時に最適化され、OIM損失関数が導入され、Softmax損失よりも高速かつ優れた収束を実現し、大規模な人物検索データセットで最先端の性能を達成している。

ABSTRACT

Existing person re-identification benchmarks and methods mainly focus on matching cropped pedestrian images between queries and candidates. However, it is different from real-world scenarios where the annotations of pedestrian bounding boxes are unavailable and the target person needs to be searched from a gallery of whole scene images. To close the gap, we propose a new deep learning framework for person search. Instead of breaking it down into two separate tasks---pedestrian detection and person re-identification, we jointly handle both aspects in a single convolutional neural network. An Online Instance Matching (OIM) loss function is proposed to train the network effectively, which is scalable to datasets with numerous identities. To validate our approach, we collect and annotate a large-scale benchmark dataset for person search. It contains 18,184 images, 8,432 identities, and 96,143 pedestrian bounding boxes. Experiments show that our framework outperforms other separate approaches, and the proposed OIM loss function converges much faster and better than the conventional Softmax loss.

研究の動機と目的

• 手動で切り出された歩行者画像を仮定する人物再識別ベンチマークと、実世界の応用で使用されるフルシーン画像との間のギャップを解消すること。
• 分離されたタスクとして扱うのではなく、1つのディープネットワーク内で歩行者検出と人物再識別を統合的に最適化することで、人物検索の性能を向上させること。
• 多数のアイデンティティを含む大規模データセットに対応できるスケーラブルで、パrameter-freeな損失関数を開発すること。
• 今後の研究を支援するため、大規模で実世界指向のベンチマークデータセットを構築すること。

提案手法

• 推論を高速化するため、下位の畳み込み特徴を共有する歩行者プロポーザルネットワークと識別ネットワークを備えた1つのCNNアーキテクチャを設計した。
• オンラインインスタンスマッチング（OIM）損失関数は、ラベル付きアイデンティティの特徴を保持する照合テーブルと、未ラベル特徴の円形キューをネガティブ例として比較する。
• OIM損失はパrameter-freeであり、同時にすべてのサンプルを効果的に比較可能で、Softmax損失よりも収束速度と性能が向上する。
• 正則化と距離計算の高速化を目的に、L2正規化された部分空間射影により特徴次元を256次元に削減した。
• 大規模データセットにおけるスケーラビリティを維持するため、OIM損失におけるアイデンティティのサブサンプリングを実施した。
• エンドツーエンドの訓練により、検出と識別コンポーネントが相互に適応的に改善し合うように、統合最適化を実現した。

実験結果

リサーチクエスチョン

• RQ1 1つのCNN内で歩行者検出と人物再識別を統合的に最適化することで、分離されたパイプライン手法と比較して、人物検索の性能が向上するか？
• RQ2 提案されたOIM損失関数は、従来のSoftmax損失やトリプレット損失関数と比較して、大規模な人物検索データセット上で、より高速かつ効果的な学習を可能にするか？
• RQ3 アイデンティティ数が増加するデータセットに適用した場合、OIM損失のスケーラビリティはどの程度の性能を示すか？
• RQ4 統合的検出と識別を用いた場合、検出のリCALLが最終的な人物検索性能に与える影響はどの程度か？
• RQ5 ギャラリーのサイズが、現実的な条件下での人物検索モデルの一般化性能と性能に与える影響は何か？

主な発見

• OIM損失を用いた本フレームワークは、CUHK03で77.7%のトップ-1 mAP、Market1501で77.9%、Dukeで61.7%を達成し、Softmax損失ベースのベースラインを上回った。
• ResNet-50を用いた場合、OIM損失はCUHK03で77.5%のトップ-1正答率、Market1501で82.1%、Dukeで68.1%を達成し、Softmax損失を顕著に上回った。
• OIM損失は収束が早く、Softmax損失よりも優れた性能を示した。損失計算における100個のアイデンティティのサブサンプリングにより、性能を維持しながら学習速度が向上した。
• 256次元のL2正規化特徴部分空間を用いることで、最良のテスト性能（トップ-1: 78.7%、mAP: 75.5%）が得られ、元の2048次元特徴や高次元への射影よりも優れた性能を示した。
• 高い検出リCALLが常にmAPの向上をもたらすわけではないことが判明し、誤検出による誤認識の影響を受ける可能性があるため、統合的最適化の重要性が強化された。
• ギャラリーのサイズが大きくなるにつれて、異なる手法間の性能差が縮小した。これは、ハード例がモデル間で共通しており、ハード例抽出がさらなる性能向上に寄与する可能性を示唆している。