[논문 리뷰] APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking
이 논문은 30개 종에 걸친 동물 포즈 추정 및 추적을 동시에 수행하는 첫 대규모 벤치마크인 APT-36K를 소개하며, 세 가지 평가 트랙(SF, IS, APT)과 광범위한 트랜스포머 기반 및 CNN 베이스라인을 제시합니다.
Animal pose estimation and tracking (APT) is a fundamental task for detecting and tracking animal keypoints from a sequence of video frames. Previous animal-related datasets focus either on animal tracking or single-frame animal pose estimation, and never on both aspects. The lack of APT datasets hinders the development and evaluation of video-based animal pose estimation and tracking methods, limiting real-world applications, e.g., understanding animal behavior in wildlife conservation. To fill this gap, we make the first step and propose APT-36K, i.e., the first large-scale benchmark for animal pose estimation and tracking. Specifically, APT-36K consists of 2,400 video clips collected and filtered from 30 animal species with 15 frames for each video, resulting in 36,000 frames in total. After manual annotation and careful double-check, high-quality keypoint and tracking annotations are provided for all the animal instances. Based on APT-36K, we benchmark several representative models on the following three tracks: (1) supervised animal pose estimation on a single frame under intra- and inter-domain transfer learning settings, (2) inter-species domain generalization test for unseen animals, and (3) animal pose estimation with animal tracking. Based on the experimental results, we gain some empirical insights and show that APT-36K provides a valuable animal pose estimation and tracking benchmark, offering new challenges and opportunities for future research. The code and dataset will be made publicly available at https://github.com/pandorgan/APT-36K.
연구 동기 및 목표
- 다양한 종에 걸친 단일 프레임 동물 포즈 추정 및 다중 프레임 동물 포즈 추적 모두에 대해 고품질 주석 데이터셋을 대규모로 생성한다.
- 대표적인 CNN 및 비전 트랜스포머 모델을 세 가지 트랙에서 벤치마킹하여 도메인 내/간 전송 및 종 간 일반화 연구를 수행한다.
- 교차 도메인 사전 학습(사람, 동물)의 이점과 포즈 작업에 대한 기초 모델로서 일반 비전 트랜스포머의 가능성을 통찰한다.
- 동물 행동 이해 및 야생 생태 보존 응용 분야의 향후 연구를 주도할 현실적이고 도전적인 테스트베드를 제공한다.
제안 방법
- 30개 종에 걸친 15개 과의 2,400개 YouTube 동영상 클립을 수집하고 클립당 15프레임을 샘플링하여 36,000개의 주석 프레임을 얻는다.
- COCO 스타일의 키포인트(동물당 약 17개)와 프레임 간 바운딩 박스 및 트래킹 ID를 다중 라운드 품질 점검으로 주석화한다.
- 누수(leakage)를 피하기 위해 비디오 수준 파티션으로 학습/검증/테스트 데이터를 구성한다.
- 세 가지 트랙 벤치마크: SF(단일 프레임 포즈 추정), IS(종 간 일반화), APT(포즈 추정과 트래킹)
- MS COCO 규칙에 따른 평균 정밀도(AP) 및 OKS 기반 지표를 사용하여 평가하고, ImageNet/COCO/AP-10K 프리트레이닝의 전이 학습을 연구한다.
실험 결과
연구 질문
- RQ1현재의 포즈 추정 모델이 temporal 정보가 있는 대규모 다종 동물 데이터셋으로 얼마나 잘 전이되는가?
- RQ2일부 과를 학습하고 보지 못한 과에서 테스트할 때의 종 간 일반화 성능은 어떠한가?
- RQ3연속 프레임 간의 트래킹과 함께 동물 포즈 추정을 수행할 때 어떤 모델/트래커 조합이 가장 효과적인가?
- RQ4다른 프리트레이닝 방법(ImageNet, COCO 인간 포즈, AP-10K 동물 포즈, 인간→동물 전송)이 APT-36K에 어떤 이점을 제공하는가?
주요 결과
- APT-36K는 30종과 15과에서 2,400개의 클립으로부터 36,000개의 프레임, 53,006개의 주석 인스턴스를 포함하여 공동 포즈 추정 및 트래킹 벤치마크를 가능하게 한다.
- 비전 트랜스포머(예: ViTPose)는 IN1K 프리트레이닝에서 77.4 AP, 인간 포즈 프리트레이닝에서 78.3 AP와 같이 강력한 단일 프레임 포즈 성능을 달성한다.
- 사람 포즈 데이터에 대한 프리트레이닝이 이 데이터셋에 대해 일반적으로 AP-10K 프리트레이닝보다 큰 이득을 제공하며, 예를 들어 ViTPose는 (인간) 78.3 AP 대 (AP-10K) 78.2 AP를 달성한다.
- 종 간 일반화(IS 트랙)에서 학습 데이터에 포함되지 않은 과에서 테스트할 때 성능이 상당히 낮아지며(예: Cercopithecidae의 29.6 AP), 다양한 과 커버의 필요성을 강조한다.
- APT 트랙(포즈 추정과 트래킹)에서 ViTPose + ViTTrack이 종합 성능 최상치를 달성하고(75.8 AP), 고정 인코더를 가진 간단한 ViT 기반 트래킹도 강하게 작동할 수 있다(75.5 AP).
- 적은 샷 실험은 데이터가 더 많을수록 특히 희귀 종에서 상당한 이득을 보였으며, 훈련 데이터와 특성을 공유하는 종의 경우 이득이 더 작았다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.