[論文レビュー] Query-guided End-to-End Person Search

Bharti Munjal, Sikandar Amin+2 more|arXiv (Cornell University)|May 3, 2019

Video Surveillance and Tracking Methods参考文献 39被引用数 16

ひとこと要約

本稿では、クエリ画像からのグローバルおよびローカルな手がかりを活用して、人物検出と再識別を統合的に最適化する、最初のエンドツーエンドでクエリに従う人物検索ネットワークであるQEEPSを提案する。クエリに従うシアン型スイープ・エクスカーションネットワーク（QSSE-Net）、クエリに従うRPN（QRPN）、およびクエリ類似度サブネットワーク（QSimNet）を導入し、CUHK-SYSUで88.9%のmAPおよび89.1%のトップ1を達成し、先行手法よりそれぞれ5.9ppおよび5.4pp優れている。

ABSTRACT

Person search has recently gained attention as the novel task of finding a person, provided as a cropped sample, from a gallery of non-cropped images, whereby several other people are also visible. We believe that i. person detection and re-identification should be pursued in a joint optimization framework and that ii. the person search should leverage the query image extensively (e.g. emphasizing unique query patterns). However, so far, no prior art realizes this. We introduce a novel query-guided end-to-end person search network (QEEPS) to address both aspects. We leverage a most recent joint detector and re-identification work, OIM [37]. We extend this with i. a query-guided Siamese squeeze-and-excitation network (QSSE-Net) that uses global context from both the query and gallery images, ii. a query-guided region proposal network (QRPN) to produce query-relevant proposals, and iii. a query-guided similarity subnetwork (QSimNet), to learn a query-guided reidentification score. QEEPS is the first end-to-end query-guided detection and re-id network. On both the most recent CUHK-SYSU [37] and PRW [46] datasets, we outperform the previous state-of-the-art by a large margin.

研究の動機と目的

• 人物検出と再識別を逐次的に行う手法の限界を解消するため、両者を統合的最適化フレームワークに統合すること。
• 衣類のテクスチャーや色といった、クエリ固有のグローバルおよびローカルパターンを活用することで、より良いプロポーザル生成と特徴マッチングを実現すること。
• クエリ画像全体に依存する完全なエンドツーエンドでトレーニング可能なネットワークを設計し、検出と再識別を独立に扱うのではなく、統合的に処理すること。
• 特徴チャネルおよび空間領域にクエリに適応したアテンション機構を統合することで、CUHK-SYSUやPRWなどのベンチマークデータセットで既存の最先端手法を上回ること。

提案手法

• クエリ画像とギャラリー画像の特徴間のグローバル相互依存性を用いてチャネルごとの特徴応答を再キャリブレーションする、クエリに従うシアン型スイープ・エクスカーションブロック（QSSE-Net）を提案する。
• 空間的およびチャネルワイドな特徴を、変更されたスイープ・エクスカーション機構を用いて強化するクエリに従う領域プロポーザルネットワーク（QRPN）を導入する。
• クエリとギャラリーのプロポーザル特徴を比較することで、クエリに依存する再識別スコアを学習するクエリ類似度サブネットワーク（QSimNet）を設計する。
• OIM損失関数を拡張して、検出と再識別の両方を統合的に最適化するエンドツーエンド学習を可能にする。
• 共有バックボーンを備えた2段階のFaster R-CNNベースの検出器を用い、再識別ブランチはQSSE-NetおよびQRPNからのクエリに適応した特徴に依存する。
• クエリ画像とギャラリー画像をエンドツーエンドで処理することで、推論時にグローバルな文脈とローカルな特徴的特徴を活用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 検出と再識別を統合的エンドツーエンドで学習することで、逐次パイプラインと比較して人物検索性能が向上するか？
• RQ2 クエリ画像からのグローバルおよびローカル特徴を効果的に活用することで、人物検索におけるプロポーザル生成と特徴マッチングをどのように向上させられるか？
• RQ3 特徴チャネルおよび空間領域にクエリに適応したアテンション機構を統合することで、よりロバストで正確な人物検索が可能になるか？
• RQ4 クエリに従うエンドツーエンドネットワークは、困難な人物検索ベンチマークで既存の最先端手法を上回ることができるか？

主な発見

• QEEPSは、CUHK-SYSUデータセットで88.9%のmAPおよび89.1%のトップ1という、新たな最先端性能を達成し、先行の最先端手法Mask-GをmAPで5.9pp、トップ1で5.4pp上回った。
• PRWデータセットでは、mAPが37.1%、トップ1が76.7%の新たな最先端性能を達成し、Mask-GをmAPで4.5pp、トップ1で4.6pp上回った。
• QSimNetモジュール単体でも、CUHK-SYSUでmAPが7.1pp、トップ1が4.3pp向上し、クエリに従う類似度学習の有効性を示した。
• TFLOPsで正規化した場合、QEEPSはMask-Gに比べて3.14倍高速で、メモリ使用量は4.27倍少ない。
• 定性的な結果から、QEEPSは低解像度、遮蔽、照明不良なクエリにおいても正しくマッチングを検出できており、ベースライン手法が失敗するような状況でも有効であることが示された。
• 失敗事例は主に局所化エラー、アノテーションの不正確さ、人物間の極めて類似した外見によるものであり、実世界の困難な状況下でもロバストであることが示された。