[논문 리뷰] AP-10K: A Benchmark for Animal Pose Estimation in the Wild

Hang Yu, Yufei Xu외 4명|arXiv (Cornell University)|2021. 08. 28.

Human Pose and Action Recognition참고 문헌 37인용 수 35

한 줄 요약

AP-10K는 23개 과와 54개 종에 걸친 10,015장의 라벨링 이미지로 구성된 대규모 포유류 포즈 추정 벤치마크로, 감독 학습, 사람 포즈 추정에서의 교차 도메인 전이, 및 가족 내/가족 간 일반화 평가를 수행합니다.

ABSTRACT

Accurate animal pose estimation is an essential step towards understanding animal behavior, and can potentially benefit many downstream applications, such as wildlife conservation. Previous works only focus on specific animals while ignoring the diversity of animal species, limiting the generalization ability. In this paper, we propose AP-10K, the first large-scale benchmark for mammal animal pose estimation, to facilitate the research in animal pose estimation. AP-10K consists of 10,015 images collected and filtered from 23 animal families and 54 species following the taxonomic rank and high-quality keypoint annotations labeled and checked manually. Based on AP-10K, we benchmark representative pose estimation models on the following three tracks: (1) supervised learning for animal pose estimation, (2) cross-domain transfer learning from human pose estimation to animal pose estimation, and (3) intra- and inter-family domain generalization for unseen animals. The experimental results provide sound empirical evidence on the superiority of learning from diverse animals species in terms of both accuracy and generalization ability. It opens new directions for facilitating future research in animal pose estimation. AP-10k is publicly available at https://github.com/AlexTheBad/AP10K.

연구 동기 및 목표

• 보이지 않는 종에 대한 일반화를 위한 대규모의 다양하고 포괄적인 동물 포즈 데이터셋의 부재를 해결한다.
• 가족 내/가족 간 일반화를 연구하기 위한 분류학적으로 정리된 벤치마크를 제공한다.
• 사 representative 포즈 추정 모델을 여러 트랙에 걸쳐 벤치마크하여 사전학습 효과와 전이 학습을 평가한다.
• 가족/종으로 라벨링된 보조 비라벨 이미지들을 사용한 준지도 및 자기지도 학습 탐구를 가능하게 한다.

제안 방법

• 공공 소스에서 대규모의 분류학적으로 정리된 동물 이미지 데이터셋을 수집하고 선별한다.
• 10,015장의 이미지에 각 동물당 17개의 키포인트와 8가지 배경 유형을 COCO 스타일 포맷으로 주석화하고 다차례 품질 검사를 수행한다.
• 가족 및 종별로 데이터를 정리하여 가족 내 및 가족 간 평가를 가능하게 한다.
• 세 가지 트랙에서 대표적 포즈 추정 모델을 평가한다: 감독 학습(SL), 사람 포즈 추정에서의 교차 도메인 전이(CD-TL), 및 가족 내/가족 간 도메인 일반화(DG).
• 성능에 미치는 사전학습(ImageNet, COCO) 및 학습 스케줄의 효과를 조사하고, 교차 도메인 전이 격차 및 소수 샷/전이 학습 시나리오를 분석한다.

실험 결과

연구 질문

• RQ1 대표적인 인간 포즈 모델이 AP-10K의 동물 포즈 추정에서 어떻게 수행하는가?
• RQ2 다양한 동물 종으로 학습하는 것이 정확도와 보이지 않는 동물로의 일반화를 개선하는가?
• RQ3 대규모이고 다양한 데이터셋에서 ImageNet 또는 COCO 인간 포즈로의 사전학습이 동물 포즈 추정에 어떤 영향을 미치는가?
• RQ4 일부 종으로 학습하고 다른 종에서 테스트할 때 intra-/inter-family 일반화는 어떻게 작동하는가?
• RQ5 사람 포즈 추정에서의 교차 도메인 전이가 동물 포즈 추정의 데이터가 제한될 때 보완이 되는가, 그리고 학습 스케줄이 이에 어떤 영향을 미치는가?

주요 결과

• AP-10K는 23가족 및 54종에 걸친 10,015장의 라벨링 이미지와 준지도/자기지도 학습에 사용할 약 50k개의 비라벨 이미지가 있다.
• 인스턴스당 17개의 동물 키포인트와 8개의 배경 범주가 COCO 형식으로 주석되었으며 13명의 주석가가 정밀하게 검토했다.
• ImageNet에서의 사전학습은 SL 트랙 성능을 향상시키지만, 처음부터 학습하는 경우 더 긴 학습 스케줄이 이 격차를 줄일 수 있다.
• 사람 포즈 추정에서 동물 포즈 추정으로의 교차 도메인 전이는 더 긴 파인튜닝이 주어졌을 때 도움이 되며, 일부 설정에서 ImageNet 사전학습에 근접하거나 이를 능가하기도 한다.
• 가족 내/가족 간 일반화는 다수 종에서 학습할 때 특징 표현이 향상되고, 가족 간 미지의 종을 테스트할 때 성능이 다르게 나타나며, 더 다양한 종의 데이터가 일반화에 일반적으로 도움이 된다.
• 데이터셋은 롱테일 분포를 보여 소수 샷 학습 연구와 일반화에 도전적인 과제를 가능하게 한다.
• 가족 간 전이와 소수 샷 실험은 미세 조정 데이터의 양이 작더라도 새로운 종의 성능을 크게 향상시킬 수 있음을 보여준다.