[論文レビュー] Person Re-identification with Metric Learning using Privileged Information

Xun Yang, Meng Wang+1 more|arXiv (Cornell University)|Apr 10, 2019

Video Surveillance and Tracking Methods参考文献 70被引用数 7

ひとこと要約

本稿では、特権情報を利用して局所的に適応する意思決定ルールを学習するロジスティック判別的距離学習手法を提案する。元の特徴空間と特権特徴空間の両方で距離行列を同時に最適化することで、グローバルしきい値法に比べて一般化性能が向上し、Market-1501で52.08%のrank-1正答率と29.10%のmAPを達成した。

ABSTRACT

Despite the promising progress made in recent years, person re-identification remains a challenging task due to complex variations in human appearances from different camera views. This paper presents a logistic discriminant metric learning method for this challenging problem. Different with most existing metric learning algorithms, it exploits both original data and auxiliary data during training, which is motivated by the new machine learning paradigm - Learning Using Privileged Information. Such privileged information is a kind of auxiliary knowledge which is only available during training. Our goal is to learn an optimal distance function by constructing a locally adaptive decision rule with the help of privileged information. We jointly learn two distance metrics by minimizing the empirical loss penalizing the difference between the distance in the original space and that in the privileged space. In our setting, the distance in the privileged space functions as a local decision threshold, which guides the decision making in the original space like a teacher. The metric learned from the original space is used to compute the distance between a probe image and a gallery image during testing. In addition, we extend the proposed approach to a multi-view setting which is able to explore the complementation of multiple feature representations. In the multi-view setting, multiple metrics corresponding to different original features are jointly learned, guided by the same privileged information. Besides, an effective iterative optimization scheme is introduced to simultaneously optimize the metrics and the assigned metric weights. Experiment results on several widely-used datasets demonstrate that the proposed approach is superior to global decision threshold based methods and outperforms most state-of-the-art results.

研究の動機と目的

• 非重複カメラ視点間での複雑な外見変動の課題に対処すること。
• 高いクラス内およびクラス間変動下で性能が劣るグローバルしきい値ベースの距離学習の限界を克服すること。
• 訓練時のみ利用可能な特権情報を利用して、元の特徴空間におけるより強固で局所的に適応する距離行列を学習すること。
• 複数の補完的視覚表現から距離行列を同時に学習するマルチビュー設定にこの手法を拡張すること。
• 一般化性能を向上させるために、距離行列とその適応的重みを同時に学習する反復的最適化スキームを開発すること。

提案手法

• 元の特徴空間（M）と特権特徴空間（P）の両方でマハラノビス距離行列を同時に最適化するロジスティック判別的距離学習フレームワークを構築する。
• 特権空間の距離 $ d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ を、元の空間の主距離行列 $ \mathbf{M} $ の学習をガイドする局所的に適応する意思決定しきい値として用いる。
• 元の空間の距離とスケーリングされた特権空間の距離の差をペナルティとする経験的損失関数を最小化し、正例対に対しては $ d_{\mathbf{M}}^2(\mathbf{x}_i, \mathbf{z}_i) \lessgtr \beta d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ を満たすように制約を課す。
• M と P を交互に更新する反復的最適化アルゴリズムを導入し、両距離空間間の整合性を保証する。
• 複数の元の特徴から距離行列を学び、共通の特権距離行列によってガイドされるマルチビュー再識別にこの手法を拡張する。
• 有効なマハラノビス距離関数を保証するため、M と P に正定値（PSD）制約を適用する。

実験結果

リサーチクエスチョン

• RQ1 特権情報により、局所的に適応する意思決定ルールを可能にすることで、人物再識別における距離学習が向上するか？
• RQ2 元の空間と特権空間の両方で距離行列を同時に学習することで、特権空間に固定されたユークリッド距離を用いる場合と比較して、一般化性能にどのような影響を与えるか？
• RQ3 提案手法は、標準的な再識別ベンチマークにおいて、グローバルしきい値ベースの距離学習手法をどの程度上回るか？
• RQ4 マルチビュー拡張は、異なる視覚的表現の補完性を効果的に活用し、再識別性能を向上させるか？
• RQ5 特権距離行列 $ \mathbf{P} $ を学習することと、特権空間に直接ユークリッド距離を用いてしきい値を設定することの影響は何か？

主な発見

• 提案手法 LDML+ は、Market-1501データセットで52.08%のrank-1認識率と29.10%のmAPを達成し、ベースラインのユークリッド距離法よりも13ポイント以上高いrank-1正答率を実現した。
• 特権距離行列 $ \mathbf{P} $ を同時に学習することで、特権空間に直接ユークリッド距離を用いてしきい値を設定する手法と比較し、mAPが9%以上向上した。
• 図5の正規化された距離ヒストグラムから、提案手法は元の特徴空間におけるクラス内変動を顕著に低減し、クラス間分離を強化していることが示された。
• マルチビュー拡張は、異なる視覚的表現間の補完性を効果的に活用し、外見変動に対するロバストネスを向上させた。
• 反復的最適化スキームにより、距離学習としきい値適応のバランスがうまく取られ、テストセットにおける一般化性能が向上した。
• 特に低次元特徴においても、特権空間の教師モデルによる強力なガイダンスのおかげで、優れた一般化能力を示した。