[論文レビュー] StRDAN: Synthetic-to-Real Domain Adaptation Network for Vehicle Re-Identification

Sangrok Lee, Eunsoo Park+2 more|arXiv (Cornell University)|Apr 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 40

ひとこと要約

本論文では、限られた実データを活用して大規模な合成データを効果的に活用するための、合成データから実データへのドメイン適応ネットワークStRDANを提案する。敵対的ドメイン適応と半教師あり学習を組み合わせることで、車両再識別において、実データのみを用いたベースラインと比較して、CityFlow-ReIDでは12.9%、VeRiでは3.1%のmAP向上を達成した。

ABSTRACT

Vehicle re-identification aims to obtain the same vehicles from vehicle images. This is challenging but essential for analyzing and predicting traffic flow in the city. Although deep learning methods have achieved enormous progress for this task, their large data requirement is a critical shortcoming. Therefore, we propose a synthetic-to-real domain adaptation network (StRDAN) framework, which can be trained with inexpensive large-scale synthetic and real data to improve performance. The StRDAN training method combines domain adaptation and semi-supervised learning methods and their associated losses. StRDAN offers significant improvement over the baseline model, which can only be trained using real data, for VeRi and CityFlow-ReID datasets, achieving 3.1% and 12.9% improved mean average precision, respectively.

研究の動機と目的

• 限られた実世界の車両再識別データの課題に対処するため、大規模で安価な合成データを活用する。
• 敵対的ドメイン適応を用いて、合成画像と実画像の間のドメインシフトを克服する。
• 合成データにのみ存在する補助ラベル（色、種別、向き）を半教師あり学習で活用し、特徴学習を向上させる。
• 最小限の実データラベルで、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• 実画像および合成画像からの特徴抽出に、ResNet-50バックボーンを用いる。
• ドメイン識別ヘッドと敵対的損失を用いて、合成ドメインと実ドメインの特徴分布を一致させる。
• 色、種別、向きのための非一貫損失を合成データにのみ適用し、半教師あり学習を実現する。
• 車両ID分類、トリプレット損失、ドメイン敵対的損失を統合して、エンドツーエンドの学習を実行する。
• ID、ドメイン、色、種別、向き分類の5つのソフトマックスヘッドを備えたマルチタスク学習設定を採用する。
• データオーグメンテーション（水平反転、ランダムエラージュ）とリランキングの後処理を適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応は、再識別における合成画像と実画像の間のドメインシフトを効果的に低減できるか？
• RQ2 合成データにのみ存在するラベル（色、種別、向き）を用いた半教師あり学習は、実データにおけるモデルの一般化性能をどの程度向上させるか？
• RQ3 色、種別、向きの異なる非一貫損失の組み合わせが、最終的なRe-ID性能にどのように影響するか？
• RQ4 補助ラベル（色、種別、向き）を含む合成データでの学習は、実データでの学習よりも優れた特徴学習をもたらすか？

主な発見

• StRDANは、実データのみを用いたベースラインと比較して、CityFlow-ReIDデータセットで12.9%のmAP向上を達成した。
• VeRiデータセットでは、実データのみを用いたベースラインと比較して、mAPが3.1%向上した。
• CityFlow-ReIDで最高の性能が達成されたのは、方向のみの監視（ケース4）のときであり、3つの補助ラベルをすべて含めた場合に性能が低下した。
• VeRiで最高の性能が達成されたのは、方向のみの監視（ケース2）のときであり、補助ラベルが常に性能向上に寄与するわけではないことが示された。
• AI Cityデータセットでは、すべての非一貫損失を適用した場合にモデルが収束しなかった。これは、潜在的な矛盾や過学習の可能性を示唆している。
• 性能は実世界のデータセットに強く依存しており、ドメインシフトとデータ品質がモデルの挙動に顕著に影響することがわかった。