[論文レビュー] Neural Person Search Machines

Hao Liu, Jiashi Feng+6 more|arXiv (Cornell University)|Jul 21, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 19

ひとこと要約

本稿では、クエリに依存するメモリと注目メカニズムを用いて、フル画像から段階的に探索領域を縮小することで、ターゲット人物を正確に局所化する、エンド・ツー・エンドの新規フレームワークであるNeural Person Search Machines (NPSM) を提案する。クエリ表現のための外部プリミティブメモリを備えたConv-LSTMベースの神経探索機構を活用することで、NPSMはCUHK-SYSUおよびPRWデータセットで最先端の性能を達成し、従来手法に比べて最大2.4% mAPおよび2.5% top-1精度で優れている。

ABSTRACT

We investigate the problem of person search in the wild in this work. Instead of comparing the query against all candidate regions generated in a query-blind manner, we propose to recursively shrink the search area from the whole image till achieving precise localization of the target person, by fully exploiting information from the query and contextual cues in every recursive search step. We develop the Neural Person Search Machines (NPSM) to implement such recursive localization for person search. Benefiting from its neural search mechanism, NPSM is able to selectively shrink its focus from a loose region to a tighter one containing the target automatically. In this process, NPSM employs an internal primitive memory component to memorize the query representation which modulates the attention and augments its robustness to other distracting regions. Evaluations on two benchmark datasets, CUHK-SYSU Person Search dataset and PRW dataset, have demonstrated that our method can outperform current state-of-the-arts in both mAP and top-1 evaluation protocols.

研究の動機と目的

• 分離された検出と再識別に依存する2段階手法の限界に対処する。これらの手法は誤差伝搬や不要な干渉要因の影響を受けやすく、性能に悪影響を及ける。
• 全ペairワイズマッチングの非効率性と不正確さを克服する。粗いものから細かいものへの探索戦略を提供し、関連性の高い領域に焦点を段階的に絞り込む。
• クエリの外見情報を内部メモリとして統合し、再帰的局所化の過程で注目を向ける領域をガイドし、不要な干渉要因を抑制する。
• 動的かつ段階的に部分領域を選択・精錬する神経探索機構を開発し、複雑なシーンにおけるロバスト性と正確性を向上させる。

提案手法

• スパティオトロピカルな領域提案の系列をモデル化するため、Conv-LSTMユニットに基づくNeural Search Network (NSN) を提案する。これにより、再帰的な領域精錬が可能になる。
• クエリ人物の外見埋め込みを保存・継続的に更新する外部プリミティブメモリコンponentを導入する。これにより、注目とフィルタリングをガイドする。
• クエリメモリを用いて注目メカニズムを調整し、有望な部分領域にのみ注目を向ける一方で、類似する干渉要因を抑制する。
• 各ステップで注目スコアとメモリに従う信頼度に基づき、探索領域を縮小する再帰的探索戦略を実装する。これにより、人間の視覚的探索行動を模倣する。
• 検出と再識別を統合的に最適化することで、エンド・ツー・エンドのNPSMフレームワークを訓練する。これにより、分離された検出器とre-IDネットワークの必要性がなくなる。
• メモリ拡張型注目メカニズムを活用し、低解像度、ごみだらけの背景、カメラ間での外見変化に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリ外見に基づいて段階的に探索領域を狭める再帰的でメモリ拡張型のニューラル探索機構は、人物探索の正確性を向上させることができるか？
• RQ2 クエリ人物のプリミティブメモリを統合することで、複雑なシーンにおける注目集中と干渉要因へのロバスト性にどのような影響を与えるか？
• RQ3 提案手法NPSMは、実世界の人物探索ベンチマークにおいて、2段階の検出・再識別パイプラインに比べてmAPおよびtop-1精度の面でどの程度優れているか？
• RQ4 NPSMは、ギャラリーのサイズが変化しても、あるいは異なる検出設定下でも優れた性能を維持できるか？
• RQ5 低解像度、隠蔽、背景のごみなど多様な実世界の条件下でも、モデルは一般化できるか？

主な発見

• 100枚のギャラリー画像を有するCUHK-SYSUデータセットでは、NPSMは77.9% mAPおよび81.2% top-1精度を達成し、OIMベースライン（75.5% mAP、78.7% top-1）をそれぞれ2.4%および2.5%上回った。
• PRWデータセットでは、NPSMは24.2% mAPおよび53.1% top-1精度を達成し、OIMベースライン（21.3% mAP、49.9% top-1）をそれぞれ2.9%および3.2%上回った。これは1枚のバウンディングボックスしか存在しない状況でも同様に成立する。
• ギャラリーのサイズが50から4000に変化する全設定において、NPSMは一貫した優位性を示し、OIMに比べて平均して約2%の性能向上を達成した。
• 注目マップの可視化により、NPSMが視覚的に類似する干渉要因が存在する中でも、正しい人物領域に的確に焦点を絞っていることが確認された。
• 低解像度、ごみだらけの背景、カメラ間での外見変化といった困難な条件下でも、強力なロバスト性を示した。
• アブレーションスタディの結果、プリミティブメモリと再帰的探索の統合が、局所化の正確性を顕著に向上させるとともに、関係のない領域からの干渉を低減することが確認された。