[論文レビュー] Camera Style Adaptation for Person Re-identification

Zhun Zhong, Liang Zheng+3 more|arXiv (Cornell University)|Nov 28, 2017

Video Surveillance and Tracking Methods参考文献 33被引用数 35

ひとこと要約

この論文では、人物再識別におけるカメラスタイルの違いに対処するためのCamStyleを提案する。CycleGANを用いて訓練画像を異なるカメラスタイルに変換することで、訓練データを拡張し、過学習を軽減する。ラベルスムージング正則化を併用することで、最先端の性能を達成し、Random Erasingと組み合わせることでMarket-1501で89.49%のrank-1精度を達成した。

ABSTRACT

Being a cross-camera retrieval task, person re-identification suffers from image style variations caused by different cameras. The art implicitly addresses this problem by learning a camera-invariant descriptor subspace. In this paper, we explicitly consider this challenge by introducing camera style (CamStyle) adaptation. CamStyle can serve as a data augmentation approach that smooths the camera style disparities. Specifically, with CycleGAN, labeled training images can be style-transferred to each camera, and, along with the original training samples, form the augmented training set. This method, while increasing data diversity against over-fitting, also incurs a considerable level of noise. In the effort to alleviate the impact of noise, the label smooth regularization (LSR) is adopted. The vanilla version of our method (without LSR) performs reasonably well on few-camera systems in which over-fitting often occurs. With LSR, we demonstrate consistent improvement in all systems regardless of the extent of over-fitting. We also report competitive accuracy compared with the state of the art.

研究の動機と目的

• モデルの汎化性能を低下させる人物再識別におけるカメラスタイルのばらつきに取り組む。
• スタイル変換による訓練データの多様性向上により、深層学習ベースの再識別における過学習を軽減する。
• 追加の人的アノテーションを必要としない、教師なしでカメラに特化したデータ拡張手法を開発する。
• バックボーンネットワークを変更せずに、カメラ固有の外観変動に対してモデルのロバスト性を向上させる。

提案手法

• 各カメラペアに対してCycleGANモデルを訓練し、異なるカメラドメイン間での画像間スタイル変換を学習する。
• 訓練済みのCycleGANモデルを用いて、実際の訓練画像のスタイルを他のカメラの外観に合わせて変換し、合成された訓練サンプルを生成する。
• 元の画像とスタイル変換済みの画像を統合して拡張された訓練セットを作成し、変換済みのサンプルに対しても元のラベルを保持する。
• CycleGANによって生じるノイズを軽減するために、訓練中にスタイル変換済みのサンプルにラベルスムージング正則化（LSR）を適用する。
• 改善されたトレーニングスケジュールを用いた標準的な再識別ベースライン（IDE）を用い、Random Erasingなどの他のデータ拡張技術と組み合わせる。
• 拡張されたデータセット上でモデルをエンドツーエンドに訓練し、カメラに依存しない特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 CycleGANに基づくデータ拡張によるカメラスタイル適応は、人物再識別性能を向上させることができるか？
• RQ2 CycleGANによって生じるノイズはモデル性能にどのように影響するか？また、その影響は効果的に軽減できるか？
• RQ3 CamStyleは、少数カメラシステムおよびフルカメラシステムの両方で一貫して性能を向上させるか？
• RQ4 ランダムフリップやクロッピング、Random Erasingなどの他のデータ拡張戦略と比較して、CamStyleはどのように差をつけるか？
• RQ5 CamStyleは、既存のデータ拡張技術と相乗効果を上げ、再識別精度をさらに向上させることができるか？

主な発見

• VanillaなCamStyle手法は、少数カメラシステムで17.1%の向上を達成し、過学習の軽減に強く効果的であることが示された。
• ラベルスムージング正則化（LSR）を併用することで、データ不足の有無に関わらず、CamStyleは一貫して性能を向上させた。
• Market-1501データセットでは、改善されたIDEベースラインと組み合わせた場合、88.12%のrank-1精度を達成した。
• さらにRandom Erasingと組み合わせた場合、最終的なモデルはMarket-1501で89.49%のrank-1精度を達成し、大多数の最先端手法を上回った。
• DukeMTMC-reIDでは75.27%のrank-1精度を達成し、ベースラインから2.96ポイントの向上を示した。
• 他のデータ拡張技術と相性が良く、CamStyle、Random Erasing、および標準的な拡張法（RF+RC）を組み合わせた際、最高の性能が得られた。