[論文レビュー] M2M-GAN: Many-to-Many Generative Adversarial Transfer Learning for Person Re-Identification

Wenqi Liang, Guangcong Wang+2 more|arXiv (Cornell University)|Nov 9, 2018

Video Surveillance and Tracking Methods参考文献 19被引用数 25

ひとこと要約

本稿では、複数のソースおよびターゲットカメラベースのサブドメイン間でクロスサブドメイン画像変換を共同最適化する、人物再識別を目的としたmany-to-many生成的対抗的転移学習フレームワークM2M-GANを提案する。生成器にサブドメインラベルを埋め込むことで、分離されたCycleGANとは対照的に、パラメータ効率的で性能向上が見込まれ、訓練時間も短縮される統合的で効率的な翻訳が可能になる。

ABSTRACT

Cross-domain transfer learning (CDTL) is an extremely challenging task for the person re-identification (ReID). Given a source domain with annotations and a target domain without annotations, CDTL seeks an effective method to transfer the knowledge from the source domain to the target domain. However, such a simple two-domain transfer learning method is unavailable for the person ReID in that the source/target domain consists of several sub-domains, e.g., camera-based sub-domains. To address this intractable problem, we propose a novel Many-to-Many Generative Adversarial Transfer Learning method (M2M-GAN) that takes multiple source sub-domains and multiple target sub-domains into consideration and performs each sub-domain transferring mapping from the source domain to the target domain in a unified optimization process. The proposed method first translates the image styles of source sub-domains into that of target sub-domains, and then performs the supervised learning by using the transferred images and the corresponding annotations in source domain. As the gap is reduced, M2M-GAN achieves a promising result for the cross-domain person ReID. Experimental results on three benchmark datasets Market-1501, DukeMTMC-reID and MSMT17 show the effectiveness of our M2M-GAN.

研究の動機と目的

• 人物再識別における既存の1対1クロスドメイン転移学習の限界に対処する。これは、ソースおよびターゲットドメイン内に複数のカメラベースサブドメインが存在するのを考慮していない。
• 複数のカメラにわたる細分化されたサブドメイン関係をモデル化することで、ラベル付きソースドメインとラベルなしターゲットドメイン間のドメインギャップを低減する。
• M×N個の別個のCycleGANを訓練する必要がない、パラメータ効率的かつ計算スケーラブルなmany-to-manyドメイン適応手法を開発する。
• 教師あり学習中に、実際のソース画像とGANで生成されたターゲットスタイル画像の両方を活用することで、人物再識別性能を向上させる。
• 共有パラメータとサブドメインラベルのガイダンスを用いて、すべてのソースからターゲットへのサブドメインマッピングを統合的に最適化する。

提案手法

• 生成器に条件入力としてサブドメインラベル（ソース用l_s^i、ターゲット用l_t^j）を導入し、ソースサブドメインS_iからターゲットサブドメインT_jへの画像変換を可能にする。
• M×N個のサブドメイン変換マッピングを1つのモデルですべて共同最適化する統合型GANフレームワークを設計し、M×N個の別個のCycleGANの必要性を回避する。
• 画像変換の忠実性とサブドメイン間のリアルなスタイル転送を保証するため、サイクル整合性損失と対抗的損失を用いる。
• 教師あり学習とドメイン適応を組み合わせるため、アノテーション付き実際のソース画像とGANで生成された偽のターゲット画像を用いてモデルを訓練する。
• すべてのサブドメイン変換タスク間でパラメータを共有することで、ペア単位での学習と比較して、モデルサイズと訓練時間を顕著に削減する。
• 対抗的学習プロセス中にサブドメイン間で共有される構造を活用することで、ドメイン不変特徴学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインがそれぞれ複数のカメラベースサブドメインを有する状況において、統合的生成的対抗的モデルが人物再識別におけるmany-to-manyドメイン適応を効果的に処理できるか。
• RQ2 GAN生成器にサブドメインID情報を組み込むことで、標準のCycleGANと比較して翻訳品質と後続のReID性能がどのように向上するか。
• RQ3 M×N個の別個のCycleGANを1つの統合的M2M-GANモデルに置き換える際の、モデルの複雑さと性能のトレードオフは何か。
• RQ4 実際のソース画像とGANで生成されたターゲット画像の両方を用いることで、クロスドメイン設定において特徴学習とReID精度がどの程度向上するか。
• RQ5 MSMT17（15台のカメラ）のような多数のカメラを有する大規模データセットに対しても、提案手法は効率的にスケーリング可能か。

主な発見

• M2M-GANは、Market-1501、DukeMTMC-reID、MSMT17の3つのベンチマークデータセットで最先端の性能を達成し、すべての競合手法を上回る。
• Market-1501（6台のカメラ）やMSMT17（15台のカメラ）のようなデータセットに適用した場合、M×N個の別個のCycleGANに必要なパラメータ数のおよそ1/90にまでモデルサイズを削減した。
• 共同最適化により訓練時間が顕著に短縮されたため、別個にM×N個のGANを訓練するのでは計算的に非現実的になる大規模データセットに対しても、本手法は実用的である。
• D→MA設定において、実際のソース画像とGANで生成されたターゲット画像の両方を教師あり学習に組み込むことで、mAPが2.8ポイント上昇（26.8%から29.6%）し、実データの情報回復に有効であることが示された。
• Market-1501データセットでは、偽物と実物の両方の画像を用いることで、R1が59.1%、mAPが29.6%に達し、優れた一般化性能とロバスト性を示した。
• 本手法は多様なドメイン組み合わせにわたり良好に一般化され、テストされた6通りの転送組み合わせすべてにおいて、手作業特徴抽出手法および先行するクロスドメイン学習手法を常に上回った。