[論文レビュー] Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

Longhui Wei, Shiliang Zhang+2 more|arXiv (Cornell University)|Nov 23, 2017

Video Surveillance and Tracking Methods参考文献 29被引用数 118

ひとこと要約

MSMT17という大規模な多場面・多時刻データセットを人の再識別（ReID）用に紹介し、IDを保持しつつドメイン間のギャップを埋めるためにデータセット間で人物を転送するGANベースの手法PTGANを提案します。

ABSTRACT

Although the performance of person Re-Identification (ReID) has been significantly boosted, many challenging issues in real scenarios have not been fully investigated, e.g., the complex scenes and lighting variations, viewpoint and pose changes, and the large number of identities in a camera network. To facilitate the research towards conquering those issues, this paper contributes a new dataset called MSMT17 with many important features, e.g., 1) the raw videos are taken by an 15-camera network deployed in both indoor and outdoor scenes, 2) the videos cover a long period of time and present complex lighting variations, and 3) it contains currently the largest number of annotated identities, i.e., 4,101 identities and 126,441 bounding boxes. We also observe that, domain gap commonly exists between datasets, which essentially causes severe performance drop when training and testing on different datasets. This results in that available training data cannot be effectively leveraged for new testing domains. To relieve the expensive costs of annotating new training samples, we propose a Person Transfer Generative Adversarial Network (PTGAN) to bridge the domain gap. Comprehensive experiments show that the domain gap could be substantially narrowed-down by the PTGAN.

研究の動機と目的

• varied scenes, times, and lighting を含む MS MT17 のための挑戦的で現実的な大規模データセットを作成する。
• 大規模なラベリングを必要とせずクロスドメイン学習を向上させるため、ReIDデータセット間のドメインギャップに対処する。
• 識別情報を保持しつつスタイル転送を取り入れ、データセット間で人物を転送するPTGANを提案する。
• PTGANのドメインギャップ削減効果とクロスデータセット学習戦略の実現性を評価する。

提案手法

• 識別制約を追加したCycle-GANベースの、ペアなしの画像間翻訳フレームワークであるPTGANを提案する。
• データセットAとBのスタイルをマッピングし、サイクル整合性を課すためにスタイル損失（GAN＋サイクル整合性）を用いる。
• 転送中に前景人物の識別情報を保持するアイデンティティ損失を取り入れ、前景マスクMとPSPNetベースのセグメンテーションを用いる。
• 両方のドメインの識別器を用いた敵対損失とL2前景忠実性項で訓練し、スタイルとアイデンティティのバランスをとるようにlambdaパラメータを設定する。
• PTGANがターゲットデータセットでラベル付きデータを必要とせず、アイデンティティを維持した高品質な転送サンプルを生成できることを実証する。

実験結果

リサーチクエスチョン

• RQ1 フォアグラウンドをターゲットドメインに似せて再スタイル化することにより、生成的転送モデルは人物ReIDデータセット間のドメインギャップを低減できるか？
• RQ2 転送中に人物のアイデンティティを保持することは、ターゲットドメインのラベル付けを行わずにReIDのクロスデータセット学習を効果的に可能にするか？
• RQ3 PTGAN生成サンプルを使用する場合、ソースドメインのみを使用する場合と比べてクロスデータセット学習の性能はどの程度改善されるか？

主な発見

手法	mAP	R-1	R-5	R-10	R-20
GoogLeNet (baseline)	23.0	47.6	65.0	71.8	78.2
PDC	29.7	58.0	73.6	79.4	84.5
GLAD	34.0	61.4	76.8	81.6	85.9

• MSMT17 は 4,101 のアイデンティティと 126,441 個のバウンディングボックスを含む、15 台のカメラに跨る大規模で挑戦的な ReID データセットです。
• PTGAN はデータセット間のドメインギャップを大幅に縮小し、クロスドメインの ReID 性能を向上させます。
• PTGAN転送サンプルで訓練データを置換・補強すると、ターゲットラベルなしでもターゲットデータセットでのRank-1が有意に向上します。
• MSMT17 において、Duke、Market、CUHK03 から MSMT17 へ転送すると Rank-1 が 3.7–6.8 ポイント改善されます（例：Duke から MSMT17 へ）。
• 複数ソースから転送されたサンプルを組み合わせて訓練すると、単一ソースの転送より追加のゲインが得られます。
• 転送によって転送データはMSMT17自身の注釈データの一部にほぼ相当する程度となり、ラベリングコストを削減します。