[論文レビュー] PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision

Salehe Erfanian Ebadi, You-Cyuan Jhang+7 more|arXiv (Cornell University)|Dec 17, 2021

Human Pose and Action Recognition被引用数 14

ひとこと要約

PeopleSansPeople は、人間中心のコンピュータビジョン向けの合成データ生成ツールであり、シミュレーション対応の3D人間アセット、動的ライティングおよびカメラ設定、2D/3Dバウンディングボックス、インスタンスおよびセマンティックセグメンテーションマスク、COCO形式のキーポイントラベルを含む包括的なアノテーションを生成する。Detectron2 Keypoint R-CNN を事前学習に使用した場合、少データ設定では+38.03 AP の向上を達成し、全データ設定でも+1.47 AP の向上を示し、実データのみまたは ImageNet での事前学習を用いたベースラインを上回った。

ABSTRACT

In recent years, person detection and human pose estimation have made great strides, helped by large-scale labeled datasets. However, these datasets had no guarantees or analysis of human activities, poses, or context diversity. Additionally, privacy, legal, safety, and ethical concerns may limit the ability to collect more human data. An emerging alternative to real-world data that alleviates some of these issues is synthetic data. However, creation of synthetic data generators is incredibly challenging and prevents researchers from exploring their usefulness. Therefore, we release a human-centric synthetic data generator PeopleSansPeople which contains simulation-ready 3D human assets, a parameterized lighting and camera system, and generates 2D and 3D bounding box, instance and semantic segmentation, and COCO pose labels. Using PeopleSansPeople, we performed benchmark synthetic data training using a Detectron2 Keypoint R-CNN variant [1]. We found that pre-training a network using synthetic data and fine-tuning on various sizes of real-world data resulted in a keypoint AP increase of $+38.03$ ($44.43 \pm 0.17$ vs. $6.40$) for few-shot transfer (limited subsets of COCO-person train [2]), and an increase of $+1.47$ ($63.47 \pm 0.19$ vs. $62.00$) for abundant real data regimes, outperforming models trained with the same real data alone. We also found that our models outperformed those pre-trained with ImageNet with a keypoint AP increase of $+22.53$ ($44.43 \pm 0.17$ vs. $21.90$) for few-shot transfer and $+1.07$ ($63.47 \pm 0.19$ vs. $62.40$) for abundant real data regimes. This freely-available data generator should enable a wide range of research into the emerging field of simulation to real transfer learning in the critical area of human-centric computer vision.

研究の動機と目的

• 現実世界の人間中心のデータセットにおける多様性の欠如と倫理的懸念を解決するため、スケーラブルでプライバシー準拠の合成データソリューションを提供すること。
• 大規模な実データのアノテーションに依存せずに、人間中心のコンピュータビジョンにおけるシミュレーションから実世界への転移学習を可能にすること。
• 研究者が合成データをキーポイント推定および人物検出タスクに活用できる、完全にアクセス可能なシミュレーション対応のツールを提供すること。
• 人間中心のタスク向けに高精細で制御可能な合成データ生成ツールの構築という課題を克服すること。

提案手法

• パラメトリックな3Dモデルを用いて、多様なポーズ、ボディタイプ、衣類を備えた3D人間アセットを生成する。
• パラメータ化されたライティングおよびカメラシステムを採用し、現実的なシーンの変化や視認条件をシミュレートする。
• 合成画像をレンダリングし、自動的に2Dおよび3Dのバウンディングボックス、インスタンスおよびセマンティックセグメンテーションマスク、COCO形式のキーポイントアノテーションを生成する。
• シミュレーション対応のデプロイメントを実現するため、Unity と統合し、エンドツーエンドのトレーニングパイプラインをサポートする。
• 合成データを用いて Detectron2 ベースの Keypoint R-CNN モデルを事前学習し、その後実データで微調整する。
• パイプラインは完全にオープンソースであり、コード、テンプレート、ベンチマークバイナリが公開されている。

実験結果

リサーチクエスチョン

• RQ1 PeopleSansPeople で生成された合成データを事前学習に用いることで、人間ポーズ推定タスクで最先端の性能を達成できるか？
• RQ2 少データおよび大量実データ設定において、合成データによる事前学習は ImageNet での事前学習と比較してどのように異なるか？
• RQ3 合成データにおけるポーズ、ライティング、カメラ設定の多様性が、シミュレーションから実世界への転移における一般化性能にどの程度寄与するか？
• RQ4 合成データ生成ツールは、大規模な実世界の人間アノテーションに依存することなく、モデル性能を維持または向上させることができるか？

主な発見

• PeopleSansPeople で事前学習し、限られた COCO-person のトレーニングデータで微調整した場合、キーポイント検出性能が +38.03 AP 向上した（44.43 ± 0.17 vs. 6.40）。
• 全データ設定では、合成データによる事前学習が実データでの学習のみと比較して +1.47 AP 向上した（63.47 ± 0.19 vs. 62.00）。
• 少データ転送設定では、PeopleSansPeople で事前学習したモデルが ImageNet で事前学習したモデルを +22.53 AP 以上上回った（44.43 ± 0.17 vs. 21.90）。
• 大量実データ設定でも、PeopleSansPeople で事前学習したモデルは ImageNet で事前学習したモデルを +1.07 AP 上回った（63.47 ± 0.19 vs. 62.40）。
• 合成データ生成ツールにより、最小限の実データでの学習でも高い性能が達成され、実世界タスクへの高い転送性を示した。
• 生成ツール、Unity 環境、ベンチマークバイナリのオープンソース化により、研究コミュニティにおける再現性の向上と広範な採用が促進された。