[論文レビュー] Person Search by Multi-Scale Matching

Lan Xu, Xiatian Zhu+1 more|arXiv (Cornell University)|Jul 23, 2018

Video Surveillance and Tracking Methods参考文献 18被引用数 11

ひとこと要約

本論文は、制約のないシーンにおける多スケールマッチング問題という、重要ではあるが十分に研究されていない問題に焦点を当て、人物検索の性能を向上させるための深層学習フレームワーク、Cross-Level Semantic Alignment (CLSA) を提案する。学習可能なネットワーク内特徴ピラミッドと新規のクロスレベル意味的アライメント損失を統合することで、複雑なマルチブランチネットワークや画像ピラミッドを必要とせず、SOTAの性能を達成した。既存手法と比較して、CUHK-SYSUではRank-1精度を6.0%向上、PRWでは11.9%向上した。

ABSTRACT

We consider the problem of person search in unconstrained scene images. Existing methods usually focus on improving the person detection accuracy to mitigate negative effects imposed by misalignment, mis-detections, and false alarms resulted from noisy people auto-detection. In contrast to previous studies, we show that sufficiently reliable person instance cropping is achievable by slightly improved state-of-the-art deep learning object detectors (e.g. Faster-RCNN), and the under-studied multi-scale matching problem in person search is a more severe barrier. In this work, we address this multi-scale person search challenge by proposing a Cross-Level Semantic Alignment (CLSA) deep learning approach capable of learning more discriminative identity feature representations in a unified end-to-end model. This is realised by exploiting the in-network feature pyramid structure of a deep neural network enhanced by a novel cross pyramid-level semantic alignment loss function. This favourably eliminates the need for constructing a computationally expensive image pyramid and a complex multi-branch network architecture. Extensive experiments show the modelling advantages and performance superiority of CLSA over the state-of-the-art person search and multi-scale matching methods on two large person search benchmarking datasets: CUHK-SYSU and PRW.

研究の動機と目的

• 人物検索における多スケールマッチング問題が、人物検出技術の進展にもかかわらず主要なボトル neck となっていることの特定と解決。
• 自動検出されたバウンディングボックスにおける人物スケールの変動に耐性のある特徴表現の強化を目的としたエンドツーエンドの深層学習フレームワークの開発。
• 多スケール人物検索において、計算コストの高い画像ピラミッドや複雑なマルチブランチアーキテクチャを回避すること。
• 複数の特徴ピラミッドレベル間での意味的アライメントを通じて、アイデンティティ特徴の判別力を向上させること。
• 提案手法の汎用性を検証し、人物再識別やオブジェクト分類タスクを含む、人物検索を超えた応用可能性を評価すること。

提案手法

• 事前学習済みResNetの中間層を用いてネットワーク内に特徴ピラミッドを構築する、Cross-Level Semantic Alignment (CLSA) フレームワークを提案。
• 異なるピラミッドレベル間の特徴表現をアライメントすることでアイデンティティの判別性を向上させる、新規のクロスレベル意味的アライメント損失関数を導入。
• ResNetのブロック（例：ブロック5、4、3）の特徴マップを用いて三段階の特徴ピラミッドを構成し、最適な性能がこの深さで達成された。
• 訓練の安定化と特徴クラスタリングの向上を目的に、温度調整付きコントラスト型損失（式3）を適用し、T=3が最適であると判明。
• Faster R-CNNにCLSAを統合することで人物検出の信頼性を向上させたが、検出性能は主な性能ボトル neck ではない。
• モデル全体をエンドツーエンドで訓練し、検出と多スケールマッチングの共同最適化を可能にした。

実験結果

リサーチクエスチョン

• RQ1 人物検索における多スケールマッチング問題は、人物検出精度よりも大きな性能ボトル neck であるか？
• RQ2 明示的な画像ピラミッドを用いずに、統一的でエンドツーエンドの深層学習モデルが、自動検出された人物バウンディングボックスのスケール変動を効果的に処理できるか？
• RQ3 特徴ピラミッドの各レベル間で意味的アライメントを実施することで、人物検索におけるアイデンティティ特徴の判別性が向上するか？
• RQ4 提案されたCLSAフレームワークは、人物検索を越えて、特に人物再識別やオブジェクト分類タスクにおいても一般化可能か？
• RQ5 多スケール人物マッチングにおいて、最適な特徴ピラミッドレベルの構成と損失温度パラメータは何か？

主な発見

• CLSAは、ResNet-50ベースラインと比較して、CUHK-SYSUベンチマークでRank-1精度を6.0%向上（82.5%から88.5%へ）、多スケールマッチングの重要性を実証した。
• PRWデータセットでは、最良の競合手法と比較して11.9%のRank-1向上を達成し、現実世界の多スケールシナリオにおける優位性を確認した。
• 三段階の特徴ピラミッド（ブロック5-4-3）が最良の性能を示し、より深いピラミッド（例：5-4-3-2）では意味的ギャップの問題により性能が低下した。
• コントラスト型損失の温度パラメータは相対的に感度が低く、T=3が最良の結果をもたらした。これはハイパーパramータチューニングに対するロバストネスを示している。
• CLSAは人物検索を越えて良好に一般化され、Market-1501ではRank-1で3.5%、mAPで4.5%の向上を達成。CIFAR-100ではトップ1精度が1.5%向上した。
• 正解バウンディングボックスのみを用いる場合、Rank-1は1.5%向上するが、CLSAによる多スケール学習では6.0%向上する。これは、スケールマッチングが検出性能よりもより重要な課題であることを証明している。