[논문 리뷰] Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data

Le Jiang, Shuangjun Liu외 2명|arXiv (Cornell University)|2022. 08. 30.

Animal Behavior and Welfare Studies인용 수 4

한 줄 요약

이 논문은 변동형 오토인코더(VAE)를 사용하여 통계적으로 타당한 합성 동물 자세 데이터(SynAP)를 생성하고, 실사 배경과의 일치를 위해 스타일 전이를 적용하는 사전 인지 기반 합성 데이터 생성 파이프라인인 PASyn을 제안한다. 단지 99장의 실사 점박이 코끼리 이미지로 미세조정한 모델이 합성 데이터를 사용할 경우, 극도로 부족한 데이터 상황에서도 최신 기술 수준의 자세 추정 정확도를 달성하며, 특히 사지 관절 키포인트 예측 성능이 크게 향상된다.

ABSTRACT

Accurately annotated image datasets are essential components for studying animal behaviors from their poses. Compared to the number of species we know and may exist, the existing labeled pose datasets cover only a small portion of them, while building comprehensive large-scale datasets is prohibitively expensive. Here, we present a very data efficient strategy targeted for pose estimation in quadrupeds that requires only a small amount of real images from the target animal. It is confirmed that fine-tuning a backbone network with pretrained weights on generic image datasets such as ImageNet can mitigate the high demand for target animal pose data and shorten the training time by learning the the prior knowledge of object segmentation and keypoint estimation in advance. However, when faced with serious data scarcity (i.e., $<10^2$ real images), the model performance stays unsatisfactory, particularly for limbs with considerable flexibility and several comparable parts. We therefore introduce a prior-aware synthetic animal data generation pipeline called PASyn to augment the animal pose data essential for robust pose estimation. PASyn generates a probabilistically-valid synthetic pose dataset, SynAP, through training a variational generative model on several animated 3D animal models. In addition, a style transfer strategy is utilized to blend the synthetic animal image into the real backgrounds. We evaluate the improvement made by our approach with three popular backbone networks and test their pose estimation accuracy on publicly available animal pose images as well as collected from real animals in a zoo.

연구 동기 및 목표

• 극도로 부족한 실사 데이터로 인해 어려움을 겪는 동물 자세 추정 문제를 해결하기 위해.
• 해부학적 타당성과 도메인 일관성을 유지하면서도 비용 효율적이고 개인 맞춤형인 합성 데이터 생성 파이프라인을 개발하기 위해.
• 스タイル 전이와 확률적 자세 모델링을 통해 합성 이미지와 실사 이미지 간의 도메인 차이를 줄이기 위해.
• 다양한 백본 네트워크와 실제 동물원 데이터셋에서 합성 데이터의 효과를 검증하기 위해.
• 공개 사용을 위해 새로운 고성능 합성 동물 자세 데이터셋(SynAP)과 실사 동물원 점박이 코끼리 데이터셋을 배포하기 위해.

제안 방법

• 애니메이티드 3D 동물 모델에 대해 훈련된 변동형 오토인코더(VAE)가 다양한 해부학적으로 타당한 합성 자세를 생성한다.
• VAE는 제어된 분산(σ² = 2I)을 가진 잠재 공간을 학습하여 자세 다양성과 강건성을 높인다.
• 실제 텍스처를 갖춘 합성 이미지가 생성된 후, 스타일 전이 모델(StyTr2)을 사용해 실세계 배경에 적합하게 조정된다.
• 외관과 자세의 현실성 최적화를 통한 동시 최적화를 통해 실사 및 합성 데이터 간의 분포 차이를 최소화함으로써 도메인 일치를 보장한다.
• 데이터 증강을 위해 SynAP(3,000장의 점박이 코끼리 이미지)와 SynAP+(3,000장의 점박이 코끼리 + 6종의 다른 네 발 딱정벌레 2,000장의 이미지)를 생성하기 위해 이 방법을 적용한다.
• 실제 소규모 데이터셋(예: 99장의 점박이 코끼리 이미지)을 사용해 합성 데이터 유무에 따라 모델을 미세조정하여 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 VAE 기반의 합성 데이터 생성 파이프라인은 극도로 부족한 데이터 상황에서도 현실적이고 다양한 동물 자세를 생성하여 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 스타일 전이 기법은 합성 이미지와 실사 이미지 간의 도메인 차이를 효과적으로 줄일 수 있는가?
• RQ3 SynAP 및 SynAP+에서 유도된 합성 데이터는 실사 데이터와 비교해 특히 민감한 사지의 키포인트 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 극소수의 실사 데이터만으로도 예측할 수 없는 종과 실제 동물원 환경에 일반화 가능한가?
• RQ5 VAE 샘플링 분산(σ²)의 변화가 자세 추정 모델의 강건성과 정확도에 미치는 영향은 무엇인가?

주요 결과

• HRNet-w32 모델을 99장의 실사 점박이 코끼리 이미지와 SynAP(3,000장의 합성 점박이 코끼리 이미지)로 미세조정한 결과, Zebra-300 테스트 세트에서 평균 PCK@0.05 정확도가 92.4%에 도달하여, 합성 데이터 없이 8,000장의 실사 이미지로 훈련한 경우보다 뛰어난 성능을 보였다.
• 제거 실험 결과, PASyn에서 VAE와 스타일 전이를 모두 사용할 경우 Zebra-300 세트에서 평균 PCK@0.05가 기준 모델(33.1) 대비 13.5% 향상된 46.6로 확인되었다.
• 실사 점박이 코끼리 이미지를 전혀 사용하지 않은 경우, SynAP만으로 훈련한 모델이 평균 PCK@0.05 88.2%를 기록하여, 합성 데이터만으로도 예측할 수 없는 종에 대해 일반화 능력을 입증하였다.
• VAE 샘플링 분포의 분산을 증가시켜(σ² = 2I) 자세 다양성을 높였을 때, 분산이 σ² = I인 경우보다 평균 정확도가 1.1% 높아지는 것으로 확인되었다.
• SynAP+(6종의 다른 네 발 딱정벌레 포함)를 사용한 모델이 8,000장의 실사 동물 이미지와 결합했을 때 평균 PCK@0.05가 94.2%에 도달하여, 종 간 데이터 증강의 유용성을 입증하였다.
• 다양한 백본 네트워크와 실제 동물원 데이터셋에서 최신 기술 수준의 성능을 달성하여, 데이터 부족 상황에서도 일반화 능력과 강건성을 입증하였다.