[論文レビュー] Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training

Feng Zheng, Cheng Deng+6 more|arXiv (Cornell University)|Oct 29, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 32

ひとこと要約

本論文は、正確なバウンディングボックスに依存するのを減らすために、多スケールの局所的およびグローバル特徴を統合することで、人物再識別用の粗いから細かいまでのピラミッド型ディーブラーニングモデルを提案する。動的マルチロス訓練方式を導入し、トリプレット損失と識別分類損失を統合することで、最先端の性能を達成し、特に新しいプロトコル下での挑戦的なCUHK03データセットにおいて、最良の先行手法よりも9.5%の向上を達成した。

ABSTRACT

Most existing Re-IDentification (Re-ID) methods are highly dependent on precise bounding boxes that enable images to be aligned with each other. However, due to the challenging practical scenarios, current detection models often produce inaccurate bounding boxes, which inevitably degenerate the performance of existing Re-ID algorithms. In this paper, we propose a novel coarse-to-fine pyramid model to relax the need of bounding boxes, which not only incorporates local and global information, but also integrates the gradual cues between them. The pyramid model is able to match at different scales and then search for the correct image of the same identity, even when the image pairs are not aligned. In addition, in order to learn discriminative identity representation, we explore a dynamic training scheme to seamlessly unify two losses and extract appropriate shared information between them. Experimental results clearly demonstrate that the proposed method achieves the state-of-the-art results on three datasets. Especially, our approach exceeds the current best method by 9.5% on the most challenging CUHK03 dataset.

研究の動機と目的

• 多スケール特徴表現を活用することで、人物再識別における正確な歩行者検出バウンディングボックスへの依存を低減すること。
• 不正確な検出によるずれを引き起こす部分ベースモデルの限界を解消し、グローバルな文脈を無視する問題を是正すること。
• トリプレット損失と識別分類損失を滑らかに統合する動的訓練戦略を開発し、特徴の識別能を向上させること。
• 再ランクやマルチクエリ推論を用いずに、ベンチマークRe-IDデータセットで最先端の性能を達成すること。

提案手法

• バックボーンネットワークの特徴マップから、3次元特徴サブマップの粗いから細かいまでのピラミッドを構築し、複数の空間スケールで特徴を捉える。
• 各ピラミッドブランチにおける次元削減を効率的な特徴学習のために、別個の1×1畳み込み層を適用する。
• 各ブランチのグローバルプールド特徴に対して、独立したソフトマックス分類損失を適用し、識別に特化した表現を学習する。
• すべてのブランチ特徴を連結して統一された識別埋め込みを形成し、特徴の識別能力を向上させるためにトリプレット損失で最適化する。
• トレーニング中に、ランダムサンプリングとIDバランスハードサンプリングの切り替えを用いた動的トレーニング方式を実装し、2つの損失のバランスを適応的に調整する。
• トレーニングの各イテレーションで困難さの変化を反映するために、損失の重みを動的に調整し、手動のハイパーパramータチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックスが不正確またはずれている場合、多スケールピラミッドアーキテクチャが人物再識別性能を向上させられるか？
• RQ2 トリプレット損失と分類損失を、手動のハイパーパramータチューニングなしに、効果的に動的に統合できるか？
• RQ3 階層的な構造で局所的およびグローバル特徴を統合することで、遮蔽や視点変化に対してより高いロバスト性が得られるか？
• RQ4 提案手法は、特に新しい評価プロトコル下での最も挑戦的なCUHK03データセットにおいて、最先端の手法を上回る性能を発揮できるか？

主な発見

• Market-1501では、mAPが88.2%、rank-1が95.7%を達成し、以前の最先端手法であるPCB+RPP（mAP 81.6%、rank-1 93.8%）を上回った。
• CUHK03データセットでは、新しいプロトコル下で現在の最良手法を9.5%上回り、顕著な性能向上を達成した。
• 完全なピラミッドモデル（Pyramid-111100）は、Market-1501でmAP 87.5%、rank-1 94.8%を達成し、すべてのピラミッドレベルを組み合わせた有効性を示した。
• アブレーションスタディの結果、グローバルブランチのみで動的トレーニングを適用した場合でも、PCA+RPPを上回り、動的トレーニング戦略の価値を確認した。
• 特徴次元128が最適な性能を発揮した。64次元と256次元では性能が低下し、冗長性と情報不足が性能に悪影響を及えることを示した。
• トリプレット損失を削除して識別損失のみを用いた場合でも、mAPが86.5%に達し、PCB+RPPを上回った。これは、損失統合に依存しないピラミッドアーキテクチャの有効性を裏付けた。