[논문 리뷰] Cross-Domain Adaptation for Animal Pose Estimation

Jinkun Cao, Hongyang Tang외 4명|arXiv (Cornell University)|2019. 08. 16.

Human Pose and Action Recognition참고 문헌 55인용 수 8

한 줄 요약

이 논문은 제한된 레이블이 부여된 동물 데이터를 활용하여 인간 자세 데이터셋을 사전 지식으로 삼아, 미리 레이블이 부여되지 않은 동물 종에 대해 자동으로 자세 추정을 수행하는 교차 도메인 적응 프레임워크를 제안한다. 약한 지도 학습 및 준지도 학습 도메인 적응(WS-CDA)과 점진적 가짜 레이블 최적화(PPLO)를 결합한 방법은 해당 클래스에 대한 자세 레이블이 전혀 없는 상황에서도 53.1 mAP의 성능을 달성하며, 인간 수준의 정확도에 가까워진다.

ABSTRACT

In this paper, we are interested in pose estimation of animals. Animals usually exhibit a wide range of variations on poses and there is no available animal pose dataset for training and testing. To address this problem, we build an animal pose dataset to facilitate training and evaluation. Considering the heavy labor needed to label dataset and it is impossible to label data for all concerned animal species, we, therefore, proposed a novel cross-domain adaptation method to transform the animal pose knowledge from labeled animal classes to unlabeled animal classes. We use the modest animal pose dataset to adapt learned knowledge to multiple animals species. Moreover, humans also share skeleton similarities with some animals (especially four-footed mammals). Therefore, the easily available human pose dataset, which is of a much larger scale than our labeled animal dataset, provides important prior knowledge to boost up the performance on animal pose estimation. Experiments show that our proposed method leverages these pieces of prior knowledge well and achieves convincing results on animal pose estimation.

연구 동기 및 목표

• 훈련 및 평가를 위한 대규모이고 잘 레이블이 부여된 동물 자세 데이터셋의 부족 문제를 해결하기 위해.
• 인간 자세 추정과 동물 자세 추정 간의 도메인 차이를 극복하기 위해 인간 자세 데이터로부터 지식을 전이함으로써.
• 최소한의 레이블이 부여된 데이터만을 사용하여, 새로운 동물 종에 대한 자세 추정 성능을 향상시키기 위해.
• 인간 자세 사전 지식과 제한된 동물 자세 레이블을 융합하는 강력한 적응 메커니즘을 개발하기 위해.
• 자기 지율적 가짜 레이블링을 통해 자동으로 다양한 종 간 일반화 성능을 향상시키기 위해.

제안 방법

• 약한 지도 학습 및 준지도 학습 도메인 적응(WS-CDA) 프레임워크를 제안하며, 특징 추출기, 도메인 구분기, 관절점 추정기로 구성된 모델을 적대적으로 훈련한다.
• 미리 훈련된 인간 자세 모델을 초기화로 사용하고, 소량의 레이블이 부여된 동물 자세 데이터를 활용해 미세 조정한다.
• 고신뢰도 예측을 가짜 레이블로 선택하여 미레이블된 타겟 동물 데이터에 적용하는 점진적 가짜 레이블 기반 최적화(PPLO) 전략을 도입한다.
• 신뢰도가 높은 예측을 우선순위로 삼고 낮은 신뢰도의 예측으로 인한 노이즈를 줄이기 위해 자기 스피드 학습 메커니즘을 적용한다.
• 관절점 추정기와 도메인 구분기 간의 번갈아 훈련을 통해 최적화를 안정화하고 도메인 정렬 성능을 향상시킨다.
• 새로운 동물 자세 데이터셋의 레이블 형식을 인기 있는 인간 자세 데이터셋(COCO 등)과 일치시켜 인간 사전 지식의 통합을 용이하게 한다.

실험 결과

연구 질문

• RQ1 대규모 인간 자세 데이터셋에서의 지식이 새로운 종의 동물 자세 추정 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 제한된 레이블이 부여된 동물 데이터만을 사용하여 인간과 동물 자세 간의 도메인 차이를 어떻게 완화할 수 있는가?
• RQ3 고신뢰도 예측에서 유도된 가짜 레이블링이, 어떤 진짜 레이블도 없는 새로운 동물 종 클래스에서 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ4 적대적 도메인 적응과 점진적 가짜 레이블링의 조합이 기존의 도메인 적응 기반 모델보다 우수한 성능을 내는가?
• RQ5 원본 자세 레이블이 왜곡되는 상황에서 GAN 기반 데이터 증강이 동물 자세 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 WS-CDA+PPLO 방법은 해당 클래스에 대한 자세 레이블이 전혀 없는 새로운 동물 종(예: 말, 소, 양)에서 53.1 mAP 성능을 달성한다.
• 다섯 개인 레이블이 부여된 동물 종이 포함된 테스트 세트에서, 소량의 레이블이 부여된 동물 데이터만을 사용하여 65.7 mAP 성능을 달성한다.
• 인간 데이터로 미리 훈련된 모델을 동물 데이터만으로 미세 조정한 경우 성능이 열악하게 나타나, 인간 특화 특징 편향을 방지하기 위해 도메인 적응이 필요하다는 점을 확인한다.
• CycleGAN 기반 데이터 증강은 자세 레이블이 왜곡되어 원본 레이블이 무효화되면서 성능이 저하된다.
• 제안된 방법은 CycleGAN+PL, 도메인 혼동, 잔여 전이와 같은 강력한 기반 모델들을 모두 능가하며, 특히 새로운 종에서 뛰어난 성능을 보인다.
• 제거 실험 결과, WS-CDA와 PPLO 모두 필수적임을 확인하였으며, 전체 파이프라인은 제거된 변형보다 유의미하게 뛰어난 성능을 보였다.