[論文レビュー] Deep Metric Learning for Practical Person Re-Identification

Yi Dong, Zhen Lei+1 more|arXiv (Cornell University)|Jul 18, 2014

Video Surveillance and Tracking Methods参考文献 32被引用数 138

ひとこと要約

本稿では、人物再識別用に、rawピクセルから色、テクスチャ、類似度メトリクスを同時に学習する、シアンプル型畳み込みニューラルネットワークであるDeep Metric Learning (DML) を提案する。二項デヴァイアンス損失とコサイン類似度を用いることで、VIPeRおよびPRID2011の両データセットにおいて、イントラおよびクロスデータセット設定で最先端の性能を達成し、ドメインシフトへの強い一般化能力を示した。

ABSTRACT

Various hand-crafted features and metric learning methods prevail in the field of person re-identification. Compared to these methods, this paper proposes a more general way that can learn a similarity metric from image pixels directly. By using a "siamese" deep neural network, the proposed method can jointly learn the color feature, texture feature and metric in a unified framework. The network has a symmetry structure with two sub-networks which are connected by Cosine function. To deal with the big variations of person images, binomial deviance is used to evaluate the cost between similarities and labels, which is proved to be robust to outliers. Compared to existing researches, a more practical setting is studied in the experiments that is training and test on different datasets (cross dataset person re-identification). Both in "intra dataset" and "cross dataset" settings, the superiorities of the proposed method are illustrated on VIPeR and PRID.

研究の動機と目的

• ポーズ、照明、解像度、視点の変化に起因する人物再識別における大きなクラス内変動とクラス間の曖昧さの課題に対処すること。
• 手作業で設計された特徴量と別個のメトリクス学習ステップに依存せず、特徴量とメトリクスを同時に学習する統合型ディープラーニングフレームワークの構築。
• 訓練データとテストデータが異なるカメラセットアップや分布を持つ実用的なクロスデータセット再識別において、モデルの一般化能力を評価すること。
• 類似度学習に二項デヴァイアンス損失を用いることで、外れ値およびドメインシフトに対するロバストネスを向上させること。

提案手法

• 2枚の人物画像から特徴量を抽出するために、共有または非共有のサブネットワークを有するシアンプル型ディープニューラルネットワークを用いる。
• 2つのサブネットワーク間の接続関数としてコサイン類似度を採用し、最終的な類似度スコアを計算する。
• 予測類似度と真値ラベルの乖離を測定するために二項デヴァイアンス損失を適用し、ノイズや外れ値を含むサンプルに対してもロバストな学習を促進する。
• バックプロパゲーションを用いてネットワーク全体をエンドツーエンドで最適化し、類似度関数および損失関数の勾配を解析的に導出する。
• サブネットワーク間のパラメータ共有を切り替えることで、ビュー特化型および一般化型の人物再識別を両立可能にする。
• 損失関数に対するネットワーク重みに関する閉形式勾配を導出することで、効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、人物再識別において、raw画像ピクセルから判別性の高い特徴量とロバストな類似度メトリクスを同時に学習可能か？
• RQ2 エンドツーエンドのディープメトリクス学習は、手作業特徴量と別個のメトリクス学習を用いる従来の2段階手法と比較してどのように優れているか？
• RQ3 提案手法は、訓練データとテストデータの分布が異なる未観測データセット（クロスデータセット再識別）に対しても、効果的に一般化可能か？
• RQ4 二項デヴァイアンス損失の使用は、人物再識別におけるラベルノイズおよび外れ値に対するロバストネスを向上させるか？
• RQ5 共有重みを用いたコサイン類似度と組み合わせたシアンプルアーキテクチャは、代替アーキテクチャと比較して、性能および一般化能力において優れているか？

主な発見

• 提案されたDML手法は、VIPeRおよびPRID2011データセットにおいて、標準的なイントラデータセット評価プロトコル下で、最先端の手法を上回るか同等の性能を達成した。
• i-LIDSおよびCUHK Campusで訓練し、VIPeRおよびPRIDでテストするクロスデータセット再識別実験において、DMLは既存手法を顕著に上回り、強力なドメイン一般化能力を示した。
• 二項デヴァイアンス損失の使用により、ノイズや曖昧なサンプルが存在する状況でもよりロバストな学習が可能となり、モデルの安定性が向上した。
• 共有重みを有するシアンプルアーキテクチャは、一般化型人物再識別に適した効果的な特徴学習を可能にした一方で、非共有重みはビュー特化型の適応を支援した。
• バックプロパゲーションによるエンドツーエンドの特徴量とメトリクスの学習は、手作業特徴量を用いた従来手法に続く別個のメトリクス学習よりも優れた性能を達成した。
• 解析的勾配の導出により、効率的かつ安定した最適化が可能となり、小規模な人物再識別データセットにおけるディープシアンプルネットワークの学習にとって不可欠であった。