[論文レビュー] GreyReID: A Two-stream Deep Framework with RGB-grey Information for Person Re-identification

Lei Qi, Lei Wang+3 more|arXiv (Cornell University)|Aug 14, 2019

Video Surveillance and Tracking Methods参考文献 49被引用数 5

ひとこと要約

本論文は、色と構造的特徴の補完的性質を活用することで、色ベースの過学習に依存することを減らすことで、人物再識別（Re-ID）性能を向上させる、2ストリームのディーブラーニングフレームワークであるGreyReIDを提案する。この手法は、個別の損失関数を用いてRGBおよびグレースケール画像のそれぞれのブランチを別々に学習し、要素ごとの加算による特徴の統合を実施し、最終的な連結表現を精緻化するためのグローバル損失を適用する。複数のベンチマークで最先端の結果を達成している。

ABSTRACT

In this paper, we observe that most false positive images (i.e., different identities with query images) in the top ranking list usually have the similar color information with the query image in person re-identification (Re-ID). Meanwhile, when we use the greyscale images generated from RGB images to conduct the person Re-ID task, some hard query images can obtain better performance compared with using RGB images. Therefore, RGB and greyscale images seem to be complementary to each other for person Re-ID. In this paper, we aim to utilize both RGB and greyscale images to improve the person Re-ID performance. To this end, we propose a novel two-stream deep neural network with RGB-grey information, which can effectively fuse RGB and greyscale feature representations to enhance the generalization ability of Re-ID. Firstly, we convert RGB images to greyscale images in each training batch. Based on these RGB and greyscale images, we train the RGB and greyscale branches, respectively. Secondly, to build up connections between RGB and greyscale branches, we merge the RGB and greyscale branches into a new joint branch. Finally, we concatenate the features of all three branches as the final feature representation for Re-ID. Moreover, in the training process, we adopt the joint learning scheme to simultaneously train each branch by the independent loss function, which can enhance the generalization ability of each branch. Besides, a global loss function is utilized to further fine-tune the final concatenated feature. The extensive experiments on multiple benchmark datasets fully show that the proposed method can outperform the state-of-the-art person Re-ID methods. Furthermore, using greyscale images can indeed improve the person Re-ID performance.

研究の動機と目的

• 異なるアイデンティティ間の色の類似性に起因する誤検出（false positives）の課題に対処すること。
• グレースケール画像がRGB画像と補完的な情報を提供するかどうかを調査すること。
• RGBおよびグレースケール特徴を効果的に統合することで、一般化性能とロバスト性を向上させる2ストリームのディーブラーニングフレームワークを開発すること。
• グレースケール画像による色情報の除去が、色に依存した過学習を軽減しつつ構造的ヒントを保持するかどうかを実証すること。

提案手法

• 各トレーニングバッチでRGBおよびグレースケール画像を処理し、RGBおよびグレースケールのストリームブランチを別々に学習する。
• RGBおよびグレースケールブランチからの特徴を要素ごとの加算によって統合し、クロストリーム相互作用をモデル化するためのジョイントブランチを構築する。
• 各ストリームに個別の損失関数を適用することで一般化性能を向上させるとともに、最終的な連結特徴表現を微調整するグローバル損失を適用する。
• RGB、グレースケール、およびジョイントブランチの出力を連結することで、より優れた判別力を持つ最終特徴を形成する。
• RGBおよびグレースケール特徴の寄与度を動的にバランスさせるために、ソフトマックス正規化を施した2層の全結合ネットワークを用いた適応的重み付け機構を検討する。
• トレーニング中にグレースケール変換を用いたデータオーグメンテーションを実施し、多様性を高め、色ベースの過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 グレースケール画像を用いることで、色情報への依存を減らすことで、人物再識別性能が向上するか？
• RQ2 RGBおよびグレースケール特徴をどのように効果的に統合すれば、人物再識別におけるその補完的性質を最大限に活かせるか？
• RQ3 各ストリームに個別の損失を適用するジョイント学習方式が、エンドツーエンド学習と比較してモデルの一般化性能を向上させるか？
• RQ4 2ストリームのRe-IDフレームワークにおいて、RGBおよびグレースケール特徴を最適に統合する戦略は何か？
• RQ5 提案されたフレームワークは、標準的なRe-IDベンチマークで最先端の手法を上回る性能を示せるか？

主な発見

• 提案されたGreyReIDフレームワークは、4つの主要なRe-IDベンチマークで最先端の性能を達成した：Market1501（mAP: 85.6, Rank-1: 94.5）、DukeMTMC-reID（mAP: 76.5, Rank-1: 88.0）、CUHK03-Detect（mAP: 61.0, Rank-1: 62.9）、およびMSMT17（mAP: 44.9, Rank-1: 70.4）。
• トレーニング時にグレースケール画像を用いることでRe-ID性能が顕著に向上し、RGB画像に対してグレースケール画像を1:0.10の比率で使用した場合に最も良い結果が得られた。
• 要素ごとの加算統合戦略は、連結、乗算、適応的重み付けといった他の統合手法よりもmAPおよびRank-1精度で優れた性能を示した。
• 特徴マップの可視化により、RGBおよびグレースケールブランチが異なる領域に注目していることが確認され、構造的特徴と色ベースの特徴を補完的に捉えていることが示された。
• 各ブランチに個別の損失を適用し、最終特徴にグローバル損失を適用するジョイント学習方式により、よりロバストで一般化可能な表現が得られた。
• アブレーションスタディの結果、RGBとグレースケール画像の比率が1:1であっても、モデルは強力な性能を維持しており、グレースケールデータが最終表現に意味のある不変性をもたらしていることが示された。