[論文レビュー] DARI: Distance metric And Representation Integration for Person Verification

Guangrun Wang, Liang Lin+3 more|arXiv (Cornell University)|Apr 15, 2016

Video Surveillance and Tracking Methods参考文献 38被引用数 13

ひとこと要約

本稿では、人物再識別における特徴表現とマハラノビス距離メトリックの共同最適化を可能にするエンドツーエンドのディーブラーニングフレームワーク、DARIを提案する。畳み込みニューラルネットワーク（CNN）内に因子分解された全結合層としてマハラノビス行列を統合することで、バックプロパゲーションを用いた同時最適化が可能となり、CUHK03、CUHK01、iLIDSの各データセットで最先端の性能を達成した。それぞれのランク-1正解率は55.4%、65.95%、42.8%であった。

ABSTRACT

The past decade has witnessed the rapid development of feature representation learning and distance metric learning, whereas the two steps are often discussed separately. To explore their interaction, this work proposes an end-to-end learning framework called DARI, i.e. Distance metric And Representation Integration, and validates the effectiveness of DARI in the challenging task of person verification. Given the training images annotated with the labels, we first produce a large number of triplet units, and each one contains three images, i.e. one person and the matched/mismatch references. For each triplet unit, the distance disparity between the matched pair and the mismatched pair tends to be maximized. We solve this objective by building a deep architecture of convolutional neural networks. In particular, the Mahalanobis distance matrix is naturally factorized as one top fully-connected layer that is seamlessly integrated with other bottom layers representing the image feature. The image feature and the distance metric can be thus simultaneously optimized via the one-shot backward propagation. On several public datasets, DARI shows very promising performance on re-identifying individuals cross cameras against various challenges, and outperforms other state-of-the-art approaches.

研究の動機と目的

• 人物再識別の分野で、特徴表現学習と距離メトリック学習を別々の段階として扱うという制限を克服すること。
• 深層特徴学習とメトリック学習の相乗効果を活用し、ポーズ、照明、視点の変化に対する耐性を向上させること。
• 表現学習と距離メトリックの両方を同時に最適化するエンドツーエンドで学習可能なフレームワークを開発し、一般化性能を向上させること。
• マハラノビス行列の最適化に伴う計算課題を、CNNアーキテクチャ内の学習可能な全結合層への因子分解によって克服すること。
• ファインチューニングなしで異なるデータセットに一般化できることを実証し、ドメインシフトに対するモデルの耐性を検証すること。

提案手法

• 訓練画像を、参照画像、同じ人物のポジティブサンプル、異なる人物のネガティブサンプルからなる三つ組（トリプレット）にグループ化する。
• 目的関数を、埋め込み空間におけるポジティブペアとネガティブペアの距離差を最大化することに定義する。
• マハラノビス距離行列をCNNの上流に位置する因子分解された全結合層として統合し、バックプロパゲーションによる同時最適化を可能にする。
• 大規模データセットへのスケーリングを実現するため、ミニバッチを用いた確率的勾配降下法を用いる。
• トリプレット数が立方的に増加するにもかかわらず、トリプレットではなく画像ごとに勾配を計算することで計算コストを低減する。
• 過学習を軽減し、一般化性能を向上させるために、ランダムクロッピングを用いたデータオーグメンテーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴表現とマハラノビス距離メトリックの共同最適化は、分離して学習する手法と比較して、人物再識別性能を向上させることができるか？
• RQ2 CNNアーキテクチャに学習可能なマハラノビス行列を統合することで、モデルの性能と学習効率にどのような影響を与えるか？
• RQ3 提案されたエンドツーエンドフレームワークは、ファインチューニングなしで複数のデータセットに一般化できるか？
• RQ4 データオーグメンテーションとトリプレットサンプリング戦略は、モデルの収束性と正解率にどのような影響を及えるか？
• RQ5 一方のコンponent（例：固定された特徴量や固定されたメトリック）を採用する手法と比較して、表現とメトリックの共同最適化はどのように優れているか？

主な発見

• DARIはCUHK03データセットで55.4%のランク-1認識率を達成し、新たな最先端性能を樹立した。
• CUHK01データセットでは65.95%のランク-1正解率を達成し、次に優れた手法と比較して8.25ポイントも優れていた。
• iLIDSデータセットにおけるクロスデータセット評価では、CUHK03で学習したDARIがファインチューニングなしで42.8%のランク-1正解率を達成し、強力な一般化能力を示した。
• アブレーションスタディの結果、共同最適化を除去した場合（Ours-nj）の性能は、CUHK03で45.4%、CUHK01で57.7%に低下し、共同学習の重要性が確認された。
• データオーグメンテーションを実施しない場合、トップ-1正解率は約30%低下し、オーグメンテーション戦略が過学習を軽減する有効性が示された。
• 60人の人物から4800個のトリプレットを生成するトリプレット生成戦略は、60個のトリプレットしか生成しない戦略よりも収束が早く、より高い性能を達成した。これは、密なトリプレットサンプリングの利点を裏付けた。