[논문 리뷰] A Novel Dataset for Keypoint Detection of quadruped Animals from Images

Prianka Banik, Lin Li외 1명|arXiv (Cornell University)|2021. 08. 31.

Human Pose and Action Recognition참고 문헌 26인용 수 9

한 줄 요약

이 논문은 35종의 네 발 딱정벌레 동물과 동물당 39개의 조밀한 관절점을 포함하는 새로운 대규모 데이터셋인 AwA Pose를 소개한다. 이 데이터셋은 다양한 종에 걸쳐 강력한 관절점 검출을 가능하게 하며, 이 데이터셋으로 훈련된 최신 딥러닝 모델은 볼 수 있는 동물뿐 아니라 볼 수 없는 동물 모두에서 뛰어난 성능을 보이며, 복잡한 자세와 가림을 견딜 수 있는 일반화 능력을 입증한다.

ABSTRACT

In this paper, we studied the problem of localizing a generic set of keypoints across multiple quadruped or four-legged animal species from images. Due to the lack of large scale animal keypoint dataset with ground truth annotations, we developed a novel dataset, AwA Pose, for keypoint detection of quadruped animals from images. Our dataset contains significantly more keypoints per animal and has much more diverse animals than the existing datasets for animal keypoint detection. We benchmarked the dataset with a state-of-the-art deep learning model for different keypoint detection tasks, including both seen and unseen animal cases. Experimental results showed the effectiveness of the dataset. We believe that this dataset will help the computer vision community in the design and evaluation of improved models for the generalized quadruped animal keypoint detection problem.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 네 발 딱정벌레 동물의 관절점 검출을 위한 대규모이고 다양한 종의 데이터셋 부족 문제를 해결한다.
• 기존 데이터셋이 소수의 종이나 얼굴 관절점에만 집중하는 한계를 극복한다.
• 훈련 및 평가를 통해 볼 수 있는 동물뿐 아니라 볼 수 없는 네 발 딱정벌레 동물에 적용 가능한 일반화된 관절점 검출 모델을 가능하게 한다.
• 조밀하고 전신에 걸친 관절점 주석을 통해 3D 재구성, 동작 인식, 부위 분할과 같은 후속 작업을 지원한다.
• 표준화된 평가 지표(PCKB)를 사용하여 동물 관절점 검출에서의 제로샷 일반화를 평가하기 위한 벤치마크를 제공한다.

제안 방법

• AwA 데이터셋에서 이미지를 추출하여 35종의 네 발 딱정벌레 동물에 대해 39개의 표준화된 관절점을 주석 처리함으로써 AwA Pose 데이터셋을 구축하였다.
• 모든 주요 신체 부위(예: 머리, 귀, 다리, 尾, 뿔 등)를 포함하는 일반적인 관절점 세트를 정의하여 전신 분석 작업을 지원하였다.
• 척도에 민감하지 않은 평가 지표인 PCKB를 적용하였으며, 정확도는 예측된 관절점 위치와 진짜 관절점 위치 사이의 거리가 동물의 경계 상자 대각선 길이에 상대적으로 결정된다.
• 데이터셋의 성능를 평가하기 위해 최신 딥러닝 모델인 HRNet을 사용하여 볼 수 있는 동물과 볼 수 없는 동물 카테고리 모두에서 관절점 검출을 수행하였다.
• 다양한 허용 오차 수준에서의 다중 척도 임계값 평가(PCKB@0.001, PCKB@0.0005, PCKB@0.0001)를 구현하여 검출 정확도를 평가하였다.
• 기하학적 형태가 극단적인 동물(예: 기린, 코끼리, 토끼)과 다양한 자세, 특히 가림 및 어려운 시점 각도를 포함하여 데이터셋의 다양성을 확보하였다.

실험 결과

연구 질문

• RQ1 다양하고 대규모의 동물 관절점 데이터셋으로 훈련된 딥러닝 모델은 형태가 뚜렷이 다른 볼 수 없는 네 발 딱정벌레 동물에 대해 일반화할 수 있는가?
• RQ2 복잡한 자세와 가림 상황에서 신체 부위별(예: 상체 대비 하체) 관절점 검출 성능는 어떻게 달라지는가?
• RQ3 얼굴이나 흩어진 관절점만 포함된 데이터셋과 비교해 복잡하고 전신에 걸친 관절점 주석이 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 PCKB 평가 지표는 크기와 형태가 다른 동물들 사이에서 관절점 검출 정확도를 효과적으로 측정하는가?
• RQ5 이 데이터셋은 훈련 세트에 포함되지 않은 동물, 특히 특수한 해부학적 특징(예: 긴 목, 코끼리의 코, 긴 尾)을 가진 동물에 대해 강력한 제로샷 추론을 지원하는가?

주요 결과

• 얼굴 기능과 같은 상체 관절점에 대해 높은 PCKB 점수(PCKB@0.001 > 0.85)를 기록하여, 명확하지 않은 영역보다 정확한 국소화 능력을 보였다.
• 하체 관절점, 특히 발굽은 낮은 성능이지만 여전히 수용 가능한 PCKB 값을 기록하였으며, 토끼나 다람쥐처럼 작은 동물의 경우 가림과 작은 크기로 인해 성능이 크게 떨어졌다.
• 모델는 볼 수 없는 동물에 대해 효과적으로 일반화되었으며, 제로샷 추론 시의 PCKB 값이 볼 수 있는 동물의 값과 유사하게 유지되어 강력한 일반화 능력을 입증하였다.
• 실패 사례는 주로 극단적인 가림이나 비면 시점(예: 상단에서 내려다보는 시점)으로 인해 발생하였으며, 이는 모델의 공간 인식 능력을 시험하는 데 기여하였다.
• PCKB@0.0005의 히트맵 시각화 결과 상체 관절점(어두운 파란색)은 일관된 성능을 보였고, 하체 관절점(연한 파란색)은 특히 다소 유연하거나 작은 동물에서 성능이 떨어졌다.
• PCKB 지표는 경계 상자 대각선 길이로 임계값을 정규화함으로써 크기와 형태가 다른 동물들 사이에서 모델 성능을 효과적으로 캡처하였다. 이는 척도에 무관한 성능 평가를 보장하였다.