[論文レビュー] End-to-End Deep Learning for Person Search.

Tong Xiao, Shuang Li+3 more|arXiv (Cornell University)|Apr 7, 2016

Video Surveillance and Tracking Methods参考文献 55被引用数 156

ひとこと要約

本論文は、アノテートされた候補バウンディングボックスに依存せずに、オープンワールドシーンにおける人物の局所化と再識別を統合的に処理するエンドツーエンドのディーブラーニングフレームワークを提案する。スパarsely かつ不均衡なラベルに対処するため、ランダムサンプリングソフトマックス損失を導入することで、18,184枚の画像と99,809件のアノテーションを含む、新たに収集された大規模かつシーンに多様性を持つ人物検索データセットにおいて、最先端の性能を達成した。

ABSTRACT

Existing person re-identification (re-id) benchmarks and algorithms mainly focus on matching cropped pedestrian images between queries and candidates. However, it is different from real-world scenarios where the annotations of pedestrian bounding boxes are unavailable and the target person needs to be found from whole images. To close the gap, we investigate how to localize and match query persons from the scene images without relying on the annotations of candidate boxes. Instead of breaking it down into two separate tasks—pedestrian detection and person re-id, we propose an end-to-end deep learning framework to jointly handle both tasks. A random sampling softmax loss is proposed to effectively train the model under the supervision of sparse and unbalanced labels. On the other hand, existing benchmarks are small in scale and the samples are collected from a few fixed camera views with low scene diversities. To address this issue, we collect a largescale and scene-diversified person search dataset, which contains 18,184 images, 8,432 persons, and 99,809 annotated bounding boxes1. We evaluate our approach and other baselines on the proposed dataset, and study the influence of various factors. Experiments show that our method achieves the best result.

研究の動機と目的

• 人物再識別ベンチマークは主にクロップされた画像を想定しているが、実世界のシナリオでは歩行者のバウンディングボックスが利用可能でないというギャップを埋める。
• 検出と再識別を二段階に分けるのではなく、検出と再識別を統合的に処理する統一されたディーブラーニングフレームワークを構築する。
• 検出と再識別に特化した学習において、1つのクエリに対して僅かにしか正例が存在しないようなスパースかつ不均衡なラベルを扱う課題を、新規のランダムサンプリングソフトマックス損失によって克服する。
• より現実的で頑健な人物検索手法の評価を可能にするために、大規模かつシーンに多様性を持つ人物検索データセットを構築する。

提案手法

• 人物のバウンディングボックスと再識別用の埋め込み特徴量を同時に予測するエンドツーエンドのディーブラーニングアーキテクチャを提案する。
• クエリごとに僅かにしか正例が存在しないようなスパースかつ不均衡な教師信号下でも、学習の安定性と性能を向上させるために、ランダムサンプリングソフトマックス損失を導入する。
• 検出用の候補ボックスを訓練時に必要としない弱教師信号に基づき、エンドツーエンドでモデルを学習する。
• 共有バックボーンネットワークの特徴マップを活用し、統一された特徴空間上で検出と再識別予測を生成する。
• バックプロパゲーション中に局所化と再識別を同時に最適化するマルチタスク学習目的関数を採用する。
• 訓練中に負例をランダムにサンプリングするように損失関数を設計し、モデルの崩壊を防ぎ、ラベルが不足する状況下での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アノテートされた候補バウンディングボックスに依存しないエンドツーエンドのディーブラーニングモデルは、人物の局所化と再識別を効果的に統合して行えるか？
• RQ2 提案されたランダムサンプリングソフトマックス損失は、人物検索におけるスパースかつ不均衡な教師信号下で、モデル性能をどのように向上させるか？
• RQ3 データセットの規模とシーンの多様性は、人物検索モデルの性能にどの程度影響を与えるか？
• RQ4 検出と再識別を分離するパイプライン型アプローチと比較して、本手法はどのように優れているか？

主な発見

• 提案されたエンドツーエンドフレームワークは、新たに収集された人物検索データセットにおいて最先端の性能を達成し、既存のベースラインを上回った。
• ランダムサンプリングソフトマックス損失は、スパースかつ不均衡なラベル設定下でも、学習収束性とモデルの正確性を顕著に向上させた。
• 18,184枚の画像、8,432人の人物、99,809件のバウンディングボックスアノテーションを含む大規模かつシーンに多様性を持つデータセットは、人物検索システムのより現実的な評価を可能にした。
• 実験により、局所化と再識別の統合学習が、検出と再識別を分離したパイプラインよりも優れた性能を発揮することが示された。
• 訓練データの多様性のおかげで、シーンの複雑さやカメラの視点の変化に対してもモデルの頑健性が確認された。
• アブレーションスタディにより、提案された損失関数が、訓練中の正例と負例の不均衡を効果的に処理するために不可欠であることが確認された。