[論文レビュー] Constrained Deep Metric Learning for Person Re-identification

Hailin Shi, Xiangyu Zhu+4 more|arXiv (Cornell University)|Nov 24, 2015

Video Surveillance and Tracking Methods参考文献 18被引用数 31

ひとこと要約

本稿では、人物再識別のための制約付きディープメトリック学習を提案し、一般化性能の向上を図るための重み制約を施したマハラノビス距離を導入するとともに、極端なクラス内ペアによる過学習を軽減するための新しい中程度の正例マイニング戦略を提案する。本手法は、CUHK03、CUHK01、VIPeRで最先端の性能を達成し、CUHK01ではランク-1正答率87%、VIPeRでは40.91%を達成した。

ABSTRACT

Person re-identification aims to re-identify the probe image from a given set of images under different camera views. It is challenging due to large variations of pose, illumination, occlusion and camera view. Since the convolutional neural networks (CNN) have excellent capability of feature extraction, certain deep learning methods have been recently applied in person re-identification. However, in person re-identification, the deep networks often suffer from the over-fitting problem. In this paper, we propose a novel CNN-based method to learn a discriminative metric with good robustness to the over-fitting problem in person re-identification. Firstly, a novel deep architecture is built where the Mahalanobis metric is learned with a weight constraint. This weight constraint is used to regularize the learning, so that the learned metric has a better generalization ability. Secondly, we find that the selection of intra-class sample pairs is crucial for learning but has received little attention. To cope with the large intra-class variations in pedestrian images, we propose a novel training strategy named moderate positive mining to prevent the training process from over-fitting to the extreme samples in intra-class pairs. Experiments show that our approach significantly outperforms state-of-the-art methods on several benchmarks of person re-identification.

研究の動機と目的

• 限られたトレーニングデータによる人物再識別におけるディープメトリック学習の過学習問題に対処する。
• マハラノビス距離層に重み制約を組み込むことで、ディープメトリック学習の一般化性能を向上させる。
• トレーニングにおける正例選択の役割を再評価し、極端なクラス内ペアが一般化性能に悪影響を及えると主張する。
• 代表的な正例ペアを選択し、外れ値に過学習するのを避けるために、新しいトレーニング戦略「中程度の正例マイニング」を開発する。
• 複数の標準的で人物再識別ベンチマークで最先端の性能を達成する。

提案手法

• CNNベースのディープネットワークにマハラノビス距離層を統合し、一般化性能の向上を図るために重み制約を用いたメトリック重みを正則化する。
• バックプロパゲーションを用いて特徴抽出器とメトリック層を同時に学習させ、判別的な特徴と頑健なメトリックのエンドツーエンド学習を可能にする。
• 中程度の正例マイニングを提案：極端な正例に過学習しないように、中程度の類似度を示すクラス内ペアを選択する動的サンプリング戦略。
• 中程度の正例マイニングをハードネガティブマイニングと組み合わせることで、トレーニング損失のバランスを保ち、モデルの頑健性を向上させる。
• Market1501およびCUHK03での事前学習の後、ターゲットデータセット（CUHK01、VIPeR）での微調整を実施し、特徴の転移性を向上させる。
• VIPeRでのトレーニング中にランダムなトランスレーションを用いたデータ拡張を実施し、トレーニングの多様性を高める。

実験結果

リサーチクエスチョン

• RQ1 マハラノビス距離層に重み制約を適用することで、人物再識別における一般化性能にどのような影響を与えるか？
• RQ2 クラス内正例ペアの選択が、モデルの過学習および性能に与える影響は何か？
• RQ3 中程度の正例マイニング戦略は、再識別における標準的なハード正例マイニングを上回る性能を発揮できるか？
• RQ4 CNN特徴と制約付きマハラノビスメトリックの共同学習は、標準ベンチマークで性能向上をもたらすか？
• RQ5 特に小規模なVIPeRデータセットのような低データ環境下でも、本手法は良好な性能を示すか？

主な発見

• 提案手法は、CUHK01でランク-1識別率87%を達成し、以前の最先端手法IDLA（65%）を顕著に上回った。
• CUHK03でのみ事前学習し、CUHK01で微調整した場合でも、82.3%のランク-1正答率を達成し、同条件でのIDLAを上回った。
• 挑戦的なVIPeRデータセットでは、ランク-1識別率40.91%を達成し、報告済みのディープラーニング手法の中で最高水準であった。
• アブレーションスタディの結果、重み制約が一般化性能を顕著に向上させ、最適な性能はλ = 10⁻⁴で得られた。
• 失敗要因の分析から、真の正例と色が類似した負例ペアとの間の色の不一致が、特に暗いまたはコントラストが低い画像で大きな課題であることが判明した。
• 中程度の正例マイニング戦略により、極端なクラス内ペアに過学習するのを防ぎ、一般化性能の低下を回避することで性能が向上した。