[論文レビュー] Learning Invariant Color Features for Person Re-Identification

Rahul Rama Varior, Gang Wang+1 more|arXiv (Cornell University)|Oct 4, 2014

Video Surveillance and Tracking Methods参考文献 20被引用数 9

ひとこと要約

本論文は、ピクセル値を符号化するための線形変換とスパースコーディング辞書を同時に最適化することで、照度に依存しない色特徴を学習するデータ駆動型共同学習フレームワーク、JLCFを提案する。この手法は、すべての光度不変色空間を上回り、ViPER、Person Re-ID 2011、CAVIAR4-REID データセットにおいて深層特徴と組み合わせて最先端の性能を達成する。

ABSTRACT

Matching people across multiple camera views known as person re-identification, is a challenging problem due to the change in visual appearance caused by varying lighting conditions. The perceived color of the subject appears to be different with respect to illumination. Previous works use color as it is or address these challenges by designing color spaces focusing on a specific cue. In this paper, we propose a data driven approach for learning color patterns from pixels sampled from images across two camera views. The intuition behind this work is that, even though pixel values of same color would be different across views, they should be encoded with the same values. We model color feature generation as a learning problem by jointly learning a linear transformation and a dictionary to encode pixel values. We also analyze different photometric invariant color spaces. Using color as the only cue, we compare our approach with all the photometric invariant color spaces and show superior performance over all of them. Combining with other learned low-level and high-level features, we obtain promising results in ViPER, Person Re-ID 2011 and CAVIAR4REID datasets.

研究の動機と目的

• カメラ間での視認色の歪みを引き起こす照度変動の課題に対処する。
• 照明変化に敏感な手作業で設計された色空間およびRGB/HSV/YUVヒストグラムの限界を克服する。
• 線形変換と符号化の最適化を共同で行うことで、照度に依存しない色特徴をデータ駆動型で学習するフレームワークを開発する。
• 変換と辞書の共同学習が、独立した学習よりもロバスト性と性能を向上させることを示す。
• 特徴学習プロセスに色定常性を組み込むことで、再識別精度が顕著に向上することを示す。

提案手法

• 線形変換とスパースコーディング辞書を含む共同最適化問題として、色特徴学習を定式化する。
• 3次元RGBピクセル値をより高次元の空間にマップするため、オートエンコーダーに基づくフレームワークを用いる。
• 共有辞書を用いて変換されたピクセル値をスパースコーディングで符号化し、類似した色が類似した符号を受け取ることを保証する。
• 同じ色のピクセルが異なる照度下でも符号化誤差が最小になるように、目的関数に色定常性項を導入する。
• 局所領域ごとに符号化特徴をプーリングし、それらを連結して包括的な画像表現を構築する。
• 階層的特徴を学習するためのマルチレイヤー構造にフレームワークを拡張し、オートエンコーダーやCNNと組み合わせて性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型アプローチにより、線形変換と辞書を同時に学習し、照度に依存しない色特徴を生成できるか？
• RQ2 提案された共同学習フレームワークは、手作業で設計された光度不変色空間と比較して、再識別精度で優れているか？
• RQ3 特徴学習プロセスに色定常性を組み込むことで、ベンチマークデータセットにおける性能がどの程度向上するか？
• RQ4 変換と辞書の共同最適化は、独立した学習よりも優れた結果をもたらすか？
• RQ5 他の学習された低レベルおよび高レベル特徴と組み合わせた場合、提案手法の有効性はどの程度か？

主な発見

• 提案されたJLCF手法は、ViPERデータセットで78.17%のランク-50精度を達成し、すべてのベースライン光度不変色空間を上回った。
• Person Re-ID 2011データセットでは、JLCFが99.36%のランク-20精度を達成し、次に優れた手法（SSCDL）の97.9%を顕著に上回った。
• オートエンコーダーとCNNと組み合わせた場合、Person Re-ID 2011で100%のランク-20精度に達し、優れた一般化性能を示した。
• 変換と辞書の共同学習は、独立学習よりも性能を向上させ、ViPERではランク-1精度で5.5%の向上を示した。
• 色定常性項を除去すると性能が著しく低下し、照度不変性を達成する上でその重要性が確認された。
• すべての評価済み光度不変色空間（CRULE、MWEXTなど）を含め、すべてのデータセットと指標で、本手法が優れていることが示された。