[論文レビュー] UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification

Tianyu Zhang, Lingxi Xie+5 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 49被引用数 5

ひとこと要約

UnrealPersonは、高品質で制御可能に生成された歩行者画像と無料のインスタンスレベルアノテーションを用いて、コストフリーの人物再識別パイプラインを提案する。3,000 ID分の合成データで事前学習することで、MSMT17で38.5%のランク-1精度を達成。これは、従来の合成データベースの結果をほぼ2倍に上回り、実データベースのベースラインをも上回り、強力なゼロショット転送と、低照度や黒い服の状況といった困難なドメインへの適応性を実現する。

ABSTRACT

The main difficulty of person re-identification (ReID) lies in collecting annotated data and transferring the model across different domains. This paper presents UnrealPerson, a novel pipeline that makes full use of unreal image data to decrease the costs in both the training and deployment stages. Its fundamental part is a system that can generate synthesized images of high-quality and from controllable distributions. Instance-level annotation goes with the synthesized data and is almost free. We point out some details in image synthesis that largely impact the data quality. With 3,000 IDs and 120,000 instances, our method achieves a 38.5% rank-1 accuracy when being directly transferred to MSMT17. It almost doubles the former record using synthesized data and even surpasses previous direct transfer records using real data. This offers a good basis for unsupervised domain adaption, where our pre-trained model is easily plugged into the state-of-the-art algorithms towards higher accuracy. In addition, the data distribution can be flexibly adjusted to fit some corner ReID scenarios, which widens the application of our pipeline. We will publish our data synthesis toolkit and synthesized data in https://github.com/FlyHighest/UnrealPerson.

研究の動機と目的

• 新しいドメインにおける実世界の人物再識別（ReID）データの収集およびアノテーションにかかる高コストと困難さに対処する。
• 人為的アノテーションに依存する実データの減少を図り、ReIDモデルの導入障壁を低減する。
• 低照度や一様な服装といった困難な現実世界のシナリオに、効果的なゼロショットおよびドメイン適応型転送を可能にする。
• 純粋に合成データを用いた学習が、直接転送設定において実データベースの事前学習を上回ることを実証する。
• 無料のアノテーションを備えた多様で現実的であるが、柔軟かつ調整可能なReID学習データの生成パイプラインを提供する。

提案手法

• 照明、シーン、歩行者属性（性別、衣服、身長など）を調整可能な仮想3D環境を用いて、高精細で制御可能な3D歩行者画像を生成する。
• 合成パイプラインの特性を活かし、追加コストなしに自動的にインスタンスレベルのアノテーション（IDラベル）を合成画像に割り当てる。
• 標準的なベースラインネットワーク（例：ResNetベース）を用い、標準的な対照的損失を適用し、3,000 ID分の合成データと120,000インスタンスに限定してReIDモデルを事前学習する。
• 時間帯、照明、カメラアングルなどの仮想シーンパラメータを調整し、夜間や黒い服の状況といった困難な現実世界の状況を模擬する。
• 事前学習済みモデルを直接実世界のベンチマーク（例：MSMT17、GRID、LIPS、Market-black、Duke-black）に適用し、ゼロショット転送評価を実施する。
• 事前学習済みモデルを最先端の自己教師型ドメイン適応（UDA）フレームワークに統合し、ターゲットドメインでの精度をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで事前学習されたReIDモデルが、実データでアノテート済みのデータで事前学習されたモデルと比較して、優れたゼロショット転送性能を達成できるか？
• RQ2 合成データの品質と制御可能性が、特に実データが限られるような多様な現実世界のReIDドメインにおける一般化性能にどのように影響するか？
• RQ3 データ合成パイプラインが、レアまたは撮影が難しいシナリオ（例：低照度、黒い服の環境）をどれほど効果的に模擬できるか、その影響は何か？
• RQ4 データ合成プロセスにおけるどの要因が、得られるReIDモデルの性能に最も顕著に影響を与えるか？
• RQ5 合成データから得た事前学習済みモデルが、教師ありおよび教師なしドメイン適応の両方において、強力な初期化として機能するか？ドメイン特化の微調整の必要性を低減できるか？

主な発見

• UnrealPersonパイプラインは、合成データでのみ事前学習されたモデルを直接MSMT17ベンチマークに転送した場合、38.5%のランク-1精度を達成。これは、従来の合成データベースの最高記録（20.0%、RandPerson）をほぼ2倍に上回る。
• 実データベースの直接転送記録を上回り、合成データがゼロショットReID一般化において実データよりも効果的であることを示している。
• 低照度シナリオでは、低照度の合成データで学習したモデルが、LIPSデータセットで実データベースを3.0%上回るランク-1精度を達成した。
• 黒い服のReID問題において、合成された黒い服の歩行者で学習したモデルは、Market-blackおよびDuke-blackで優れた性能を示し、実世界データで事前学習したモデルを上回った。
• 事前学習済みモデルは、自己教師型ドメイン適応（UDA）フレームワークへの統合において、効果的な初期化として機能し、既存のUDAフレームワークに組み込むことで最先端の性能を達成した。
• パイプラインの柔軟性により、屋内、夜間、一様な服装といった極端なケースへの容易な適応が可能となり、展開可能なReIDシステムの範囲が広がった。