[論文レビュー] Person Search via A Mask-Guided Two-Stream CNN Model

Di Chen, Shanshan Zhang+3 more|arXiv (Cornell University)|Jul 21, 2018

Video Surveillance and Tracking Methods参考文献 38被引用数 24

ひとこと要約

本稿では、人物検出と再識別を分離するマスクガイドド二ストリームCNNモデルを提案する。一方のストリームは前景人物パッチを処理し、もう一方は元の画像パッチを処理することで特徴表現を豊かにする。本手法は、表現共有を避けながら特徴学習を向上させることで、CUHK-SYSUで83.0%、PRWで32.6%のSOTA mAPを達成し、先行研究を5ポイント以上上回った。

ABSTRACT

In this work, we tackle the problem of person search, which is a challenging task consisted of pedestrian detection and person re-identification~(re-ID). Instead of sharing representations in a single joint model, we find that separating detector and re-ID feature extraction yields better performance. In order to extract more representative features for each identity, we segment out the foreground person from the original image patch. We propose a simple yet effective re-ID method, which models foreground person and original image patches individually, and obtains enriched representations from two separate CNN streams. From the experiments on two standard person search benchmarks of CUHK-SYSU and PRW, we achieve mAP of $83.0\%$ and $32.6\%$ respectively, surpassing the state of the art by a large margin (more than 5pp).

研究の動機と目的

• 実際の状況（遮蔽、低解像度、外見の変化など）下での人物検索の課題に取り組む。これは、人物検出と人物再識別を統合するものである。
• 再識別と検出の間で表現を共有することにより、再識別におけるクラス間差のモデル化と検出におけるクラス内共通性のモデル化という、対立する目的が性能を劣化させるかどうかを調査する。
• 前景人物パッチと元の画像パッチを別々に明示的にモデル化することで、両者の補完的情報を活用し、再識別精度を向上させる。
• 二段階で非共有表現アプローチが、人物検索においてエンドツーエンドの統合学習を上回ることを示す。

提案手法

• 本手法は二段階パイプラインを用いる：まず、Faster R-CNN検出器がギャラリー画像内の人物を特定する。次に、マスクガイドド二ストリームCNNが再識別を実行する。
• 前景人物パッチは、MS COCOで事前学習されたFCISモデルにより生成されたセグメンテーションマスクを用いて抽出するが、ファインチューニングは行わない。
• 前景パッチと元の画像パッチの両方を、独立して処理する二つのCNNストリームが存在し、それぞれのモodalに対して別々の特徴学習が可能になる。
• 再識別ネットワークは、アイデンティティの識別を最適化するため、オンラインインスタンスマッチング（OIM）損失で訓練される。
• 最終的な特徴ベクトルは、両ストリームの出力を連結することで形成され、モデルが判別的な前景特徴と文脈的な背景情報の両方の利点を享受できる。
• アブレーションスタディの結果、RoI拡張係数γ ∈ [1.2, 1.5] の範囲で中程度の文脈情報が性能向上に寄与することが判明。一方で、あまりに多くの背景を含めると精度が低下する。

実験結果

リサーチクエスチョン

• RQ1 人物検出と人物再識別間で表現を共有することは、対立する学習目的（再識別ではクラス間差、検出ではクラス内共通性）のため、全体の人物検索性能を劣化させるか？
• RQ2 二つのCNNストリームを用いて、前景人物パッチと元の画像パッチを別々にモデル化することで、再識別性能を向上させられるか？
• RQ3 前景強調と背景文脈の間で、再識別精度を最大化する最適なバランスが存在するか？
• RQ4 二段階で非共有表現アプローチが、エンドツーエンドの統合学習を上回る性能を発揮できるか？

主な発見

• 提案手法は、CUHK-SYSUベンチマークで83.0%のmAPを達成し、前回のSOTAを5ポイント以上上回った。
• PRWデータセットでは、32.6%のmAPを達成し、これも前回のSOTAを5ポイント以上上回った。
• アブレーションスタディの結果、前景ストリームが最終特徴ベクトルに与える寄与度が元の画像ストリームよりも高いことが確認された。これは、上位チャンネルの平均活性化値がより高かったことから裏付けられた。
• RoI拡張係数γが1.2から1.5の間で最良の性能を示し、中程度の文脈情報が性能向上に寄与することが示された。一方で、過剰な背景情報は精度を低下させる。
• バウンディングボックスを弱いマスクとして使用することで、推論時間を約2倍短縮しつつ、高い性能（mAP 85.1% vs. 89.1%）を維持した。これは、精度のわずかな低下で実用的な高速化が可能であることを示している。
• 定性的な結果では、モデルが同様の服装の人物に対して、ベースラインのOIMよりも正しいマッチをより高くランク付けできており、微細な前景差を強調することでその効果を発揮している。