[論文レビュー] Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data

Le Jiang, Shuangjun Liu+2 more|arXiv (Cornell University)|Aug 30, 2022

Animal Behavior and Welfare Studies被引用数 4

ひとこと要約

本論文では、変分オートエンコーダー（VAE）を用いて確率的に妥当な合成動物ポーズデータ（SynAP）を生成し、スタイル変換を適用して合成画像と実画像の背景を一致させる、事前知識を考慮した合成データ生成パイプラインPASynを提案する。わずか99枚の実際のシマウマ画像で微調整したモデルが、極端なデータ不足下でも最先端のポーズ推定精度を達成し、四肢キーポイントの予測が顕著に向上する。

ABSTRACT

Accurately annotated image datasets are essential components for studying animal behaviors from their poses. Compared to the number of species we know and may exist, the existing labeled pose datasets cover only a small portion of them, while building comprehensive large-scale datasets is prohibitively expensive. Here, we present a very data efficient strategy targeted for pose estimation in quadrupeds that requires only a small amount of real images from the target animal. It is confirmed that fine-tuning a backbone network with pretrained weights on generic image datasets such as ImageNet can mitigate the high demand for target animal pose data and shorten the training time by learning the the prior knowledge of object segmentation and keypoint estimation in advance. However, when faced with serious data scarcity (i.e., $<10^2$ real images), the model performance stays unsatisfactory, particularly for limbs with considerable flexibility and several comparable parts. We therefore introduce a prior-aware synthetic animal data generation pipeline called PASyn to augment the animal pose data essential for robust pose estimation. PASyn generates a probabilistically-valid synthetic pose dataset, SynAP, through training a variational generative model on several animated 3D animal models. In addition, a style transfer strategy is utilized to blend the synthetic animal image into the real backgrounds. We evaluate the improvement made by our approach with three popular backbone networks and test their pose estimation accuracy on publicly available animal pose images as well as collected from real animals in a zoo.

研究の動機と目的

• 動物ポーズ推定における深刻なデータ不足、特に実際のアノテーション付きデータが限られる種に対して、その課題に対処すること。
• 解剖学的妥当性とドメインの一貫性を保ちつつ、コスト効率が良く、個別にカスタマイズ可能な合成データ生成パイプラインを開発すること。
• スタイル変換と確率的ポーズモデリングを用いて、合成データと実データの間のドメインシフトを低減すること。
• 複数のバックボーンネットワークと実世界の動物園データセットを用いて、合成データの有効性を検証すること。
• 公開用に、新しい高品質な合成動物ポーズデータセット（SynAP）と実際の動物園シマウマデータセットをリリースすること。

提案手法

• アニメーション化された3次元動物モデルを用いて、多様で解剖学的に妥当な合成ポーズを生成するため、変分オートエンコーダー（VAE）を訓練する。
• VAEは、ポーズ分布の潜在空間を学習し、制御された分散（σ² = 2I）を用いることで、ポーズの多様性と耐性を向上させる。
• 実際のテクスチャを備えた合成画像を生成し、その後、スタイル変換モデル（StyTr2）を用いて実世界の背景に適応させる。
• 外観とポーズの現実性を同時に最適化することで、実データと合成データの間の分布シフトを最小限に抑えることで、ドメイン整合性を確保する。
• データ拡張のために、SynAP（3,000枚のシマウマ画像）とSynAP+（3,000枚のシマウマ＋6種類の他の四足動物の2,000枚）を生成する。
• 実データセット（例：99枚のシマウマ画像）を用いて、合成データを用いる・使わないで微調整を行い、性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 VAEベースの合成データ生成パイプラインは、極端なデータ不足下でも、現実的で多様な動物ポーズを生成し、ポーズ推定の精度を向上させることができるか？
• RQ2 スタイル変換は、動物ポーズ推定における合成データと実データの間のドメインシフトを効果的に低減するか？
• RQ3 SynAPおよびSynAP+からの合成データは、特に柔軟な四肢のキーポイント精度向上において、実データと比較してどのように優れているか？
• RQ4 提案手法は、最小限の実データで、未観測の種や実世界の動物園環境にも一般化可能か？
• RQ5 VAEのサンプリング分散（σ²）の影響は、ポーズ推定モデルの耐性および精度にどのような影響を与えるか？

主な発見

• HRNet-w32モデルを99枚の実際のシマウマ画像に加えてSynAP（3,000枚の合成シマウマ画像）で微調整した場合、Zebra-300テストセットで平均PCK@0.05が92.4%に達し、合成データなしで8,000枚の実画像を学習した場合よりも優れた性能を示した。
• アブレーションスタディにより、PASynでVAEとスタイル変換を併用した場合、ベースライン（46.6 vs. 33.1）に対して平均PCK@0.05が13.5%向上した。
• 実際のシマウマ画像を一切使用しない状況でも、SynAPのみで学習した場合、平均PCK@0.05が88.2%に達し、未観測の種に合成データを用いて一般化できる能力を示した。
• VAEのサンプリング分散を増加させること（σ² = 2I）により、ポーズの多様性が向上し、アブレーション実験ではσ² = Iと比較して平均精度が1.1%高い結果が得られた。
• SynAP+（6種類の他の四足動物を含む）を用いて8,000枚の実画像と組み合わせた場合、平均PCK@0.05が94.2%に達し、多様種間のデータ拡張の利点を示した。
• 本手法は、複数のバックボーンと実世界の動物園データセットで最先端の性能を達成し、データ不足下での一般化性と耐性を確認した。