[論文レビュー] PSP-HDRI$+$: A Synthetic Dataset Generator for Pre-Training of Human-Centric Computer Vision Models

Salehe Erfanian Ebadi, Saurav Dhakad+7 more|arXiv (Cornell University)|Jul 11, 2022

Video Surveillance and Tracking Methods被引用数 12

ひとこと要約

PSP-HDRI$^+$ は、人間中心のコンピュータビジョンのための完全に操作可能なプライバシー保護型合成データ生成器であり、事前学習において ImageNet や他の大規模な合成データセットを凌駂数える。SMAA や Poly Haven の遮蔽物、適応的ラベリングといった技術を用いて視覚的忠実度、ラベルの整合性、ドメインランダム化を向上させることで、少数ショットおよび小規模データ環境下でも、分布内および分布外のベンチマークにおいてモデルの一般化性能を向上させる。

ABSTRACT

We introduce a new synthetic data generator PSP-HDRI$+$ that proves to be a superior pre-training alternative to ImageNet and other large-scale synthetic data counterparts. We demonstrate that pre-training with our synthetic data will yield a more general model that performs better than alternatives even when tested on out-of-distribution (OOD) sets. Furthermore, using ablation studies guided by person keypoint estimation metrics with an off-the-shelf model architecture, we show how to manipulate our synthetic data generator to further improve model performance.

研究の動機と目的

• 実世界のデータセットに伴う倫理的懸念、ラベルバイアス、高コストな作成プロセスといった課題を解決するため。
• 合成データと実データの間のドメインギャップを低減する、完全に操作可能でプライバシー保護型かつ倫理的に適切な合成データ生成器を開発するため。
• 単に生成された合成データが、ImageNet や他の汎用的スコープの事前学習データセットを上回る性能を示すことを示し、特に少数ショットおよび分布外設定下で顕著であることを確認するため。
• 広範なハイパーパrameterチューニングを必要としない、トランスファー学習性能を最大化する強固な事前学習および微調整戦略を同定・検証するため。

提案手法

• 本手法は、PeopleSansPeople (PSP) の Unity ベースのシミュレーション環境を基盤とし、視覚的忠実度およびラベリング忠実度を向上させた拡張を施している。
• 照明、カメラ、ポーズ、衣装、遮蔽物の配置など、複数のドメインにわたりランダム化を適用することで、データの多様性とモデルの一般化性能を向上させている。
• 主な向上点として、Poly Haven から提供される高品質な 3D モデルの使用、滑らかなグラフィックスを実現するためのサブピクセルモルフォロジカルアンチエイリアシング (SMAA) の導入、リアルさを向上させるためにシェーダーグラフのランダム化を無効化している。
• ターゲットデータセットの分布（例：COCO や MPII）に一致するようにラベルの適応を実施し、複雑さを抑えるために歩行、走行、停止のシンプルなアニメーションのみを用いている。
• アブレーションスタディを通じて最適な構成を特定し、最終的にすべての肯定的改良を統合した PSP-HDRI$^+$ 構成に到達した。
• トレーニング戦略では、検証性能に基づく自動的学習率スケジューリングを採用しており、手動によるハイパーパrameterチューニングの必要性を排除している。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成器が、人間中心のコンピュータビジョンの事前学習において、ImageNet や他の大規模な合成データセットを上回ることができるか？
• RQ2 合成データで事前学習を実施することで、特に低データ環境下において、分布外（OOD）ベンチマークへの一般化性能が向上するか？
• RQ3 遮蔽物の品質、照明ランダム化、ラベル適応といった特定の設計選択が、モデル性能およびドメインギャップ低減にどのように影響するか？
• RQ4 完全に操作可能な合成データ生成器は、広範なハイパーパrameterチューニングを要せず、より優れたトランスファー学習性能を実現できるか？

主な発見

• COCO test-dev2017 や MPII val といったすべての分布内ベンチマークにおいて、PSP-HDRI$^+$ で事前学習したモデルは、MOTSynth や ImageNet で事前学習したモデルを上回り、ボクシングボックスの AP スコアが高くなった。
• 分布外の MOT17 ベンチマークにおいて、PSP-HDRI$^+$ で事前学習したモデルはボクシングボックス AP 32.01 を達成し、MOTSynth で事前学習したモデル（13.97）を著しく上回った。これは、ドメイン一般化性能に優れていることを示している。
• COCO で微調整した PSP-HDRI$^+$ で事前学習したモデルは、MOTSynth で 32.46 の AP を達成した。これは、MOTSynth 僅かで微調整したモデル（32.75）を上回った。PSP-HDRI$^+$ がより強固なインダクティブバイアスを提供している可能性を示唆している。
• アブレーションスタディの結果、遮蔽物／干渉物体の削除は性能を低下させたが、その他の改良（Poly Haven の遮蔽物、SMAA、ラベル適応）はゼロショット性能を向上させた。
• 最終的な PSP-HDRI$^+$ 構成（ラベル適応、高品質な遮蔽物、SMAA、シンプルなアニメーションの統合）は、複数のベンチマークで最も優れた全体的なゼロショット性能を達成した。
• トレーニング中にランダムクロップ増強を適用することで、MOTSynth および MOT17 におけるゼロショット性能がさらに向上した。これは、合成事前学習におけるデータ増強の利点を示している。