[論文レビュー] Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search

Chuchu Han, Zhedong Zheng+3 more|arXiv (Cornell University)|Feb 22, 2021

Video Surveillance and Tracking Methods参考文献 23被引用数 5

ひとこと要約

本稿では、最適化の衝突を軽減するために、歩行者検出と再識別（re-identification）のタスクを分離する、分離型でメモリ強化型のワンステップ人間検索フレームワーク、DMRNetを提案する。タスク固有のブランチを備えたワンステップ検出器と、スローモーブィング平均に基づくメモリバンクを用いることで、対照的特徴学習が可能となり、CUHK-SYSUで93.2% mAP、PRWで46.9% mAPを達成し、既存のすべてのワンステップ手法を上回る性能を発揮した。

ABSTRACT

The goal of person search is to localize and match query persons from scene images. For high efficiency, one-step methods have been developed to jointly handle the pedestrian detection and identification sub-tasks using a single network. There are two major challenges in the current one-step approaches. One is the mutual interference between the optimization objectives of multiple sub-tasks. The other is the sub-optimal identification feature learning caused by small batch size when end-to-end training. To overcome these problems, we propose a decoupled and memory-reinforced network (DMRNet). Specifically, to reconcile the conflicts of multiple objectives, we simplify the standard tightly coupled pipelines and establish a deeply decoupled multi-task learning framework. Further, we build a memory-reinforced mechanism to boost the identification feature learning. By queuing the identification features of recently accessed instances into a memory bank, the mechanism augments the similarity pair construction for pairwise metric learning. For better encoding consistency of the stored features, a slow-moving average of the network is applied for extracting these features. In this way, the dual networks reinforce each other and converge to robust solution states. Experimentally, the proposed method obtains 93.2% and 46.9% mAP on CUHK-SYSU and PRW datasets, which exceeds all the existing one-step methods.

研究の動機と目的

• ワンステップ人間検索における検出と再識別目的の相互干渉を解消すること。
• エンドツーエンド学習における小さなバッチサイズによる識別特徴学習の非最適化を克服すること。
• 一貫性のあるメモリ拡張型対照的学習メカニズムにより、特徴の識別能を向上させること。
• 二段階パイプラインに依存せず、より単純で効率的かつトレーニング可能なワンステップフレームワークを設計すること。

提案手法

• 特徴ピラミッドネットワーク（FPN）のレイヤーからタスク固有のヘッドを分岐させることで、検出と再識別を分離し、RoI特徴を再識別サブネットにのみ割り当てる。
• 最近訪問されたインスタンスの特徴埋め込みを保存するキュー形式のメモリバンクを導入し、強化されたペairワイズメトリクス学習を実現する。
• ネットワークのスローモーブィング平均により、メモリバンクの更新に一貫した特徴符号化を確保し、表現学習の安定化を図る。
• メモリバンクを用いて有益なポジティブおよびネガティブペアをマイニングし、再識別における対照的学習を強化する。
• 効率的なエンドツーエンド学習と推論を可能にするために、RetinaNetベースのワンステップ検出器を基盤に構築する。
• メインネットワークとモーメンタム平均ネットワークの二重ネットワークが、互いに収束を強化し、堅牢な解決策に至る。

実験結果

リサーチクエスチョン

• RQ1 ワンステップフレームワークにおける検出と再識別サブタスクの分離は、最適化と性能向上に寄与するか？
• RQ2 一貫した符号化特徴を持つメモリバンクは、小さなバッチ制約下でもメトリクス学習を向上させるか？
• RQ3 メモリ特徴符号化にスローモーブィング平均を用いることで、より安定的かつ識別的な表現が得られるか？
• RQ4 簡素化された分離型ワンステップ設計は、既存の二段階およびワンステップ手法を上回る性能を発揮できるか？

主な発見

• DMRNetはCUHK-SYSUデータセットで93.2% mAPを達成し、すべての既存ワンステップ手法を上回り、新たな最先端性能を樹立した。
• PRWデータセットでは46.9% mAPを達成し、以前のSOTAワンステップ手法（NAE+）を2.9%上回った。
• ギャラリーのサイズが変化しても強力な性能を維持し、大規模で現実世界の設定においても頑健であることを示した。
• TFLOPsで正規化した場合、DMRNetは二段階手法MGTSの5.73倍高速であり、推論効率が非常に高いことを示した。
• アブレーションスタディにより、分離とメモリ強化の両方がmAPの向上に顕著に寄与することが確認された。
• トップの二段階手法（TCTS）と同等の性能を達成したが、ワンステップフレームワークであるにもかかわらず、これは顕著な成果である。