[논문 리뷰] Robust pose tracking with a joint model of appearance and shape

Yuliang Guo, Lakshmi Narasimhan Govindarajan외 2명|arXiv (Cornell University)|2018. 06. 28.

Human Pose and Action Recognition참고 문헌 6인용 수 3

한 줄 요약

이 논문은 소형 실험 동물의 2D 자세 추적 성능을 향상시키기 위해 외관, 공간적 부분 관계, 체형 일관성 요소를 동시에 모델링하는 계단식 형태 보정 가변 부분 혼합 모델(scFMP)을 제안한다. 표준 FMP 모델을 통해 가짜 부분 검출을 사전에 걸러내고, 이후 체형 일관성 기반으로 정밀하게 보정함으로써, 특히 음영에 의한 가림 상황에서도 유의미하게 높은 정확도를 달성한다. 이는 선형 FMP 및 딥 러닝 기반 기준선(CPM)보다 나비와 쥐 데이터셋에서 모두 뛰어난 성능을 보였다.

ABSTRACT

We present a novel approach for estimating the 2D pose of an articulated object with an application to automated video analysis of small laboratory animals. We have found that deformable part models developed for humans, exemplified by the flexible mixture of parts (FMP) model, typically fail on challenging animal poses. We argue that beyond encoding appearance and spatial relations, shape is needed to overcome the lack of distinctive landmarks on laboratory animal bodies. In our approach, a shape consistent FMP (scFMP) model computes promising pose candidates after a standard FMP model is used to rapidly discard false part detections. This "cascaded" approach combines the relative strengths of spatial-relations, appearance and shape representations and is shown to yield significant improvements over the original FMP model as well as a representative deep neural network baseline.

연구 동기 및 목표

• 기존 자세 추적 방법의 한계, 특히 작은 실험 동물에서의 음영, 낮은 대비 및 특징이 뚜렷하지 않은 신체 부위에 기인한 문제를 해결하기 위해.
• 유연한 부분 혼합(FMP) 모델을 개선하기 위해 체형 제약 조건을 명시적으로 통합하여 어려운 자세 상황에서도 더 높은 견고성을 확보하기 위해.
• 빠른 외관 기반 필터링과 체형 인식 보정을 조합한 효율적인 계단식 프레임워크를 개발하여 계산 비용을 줄이고 정확도를 향상시키기 위해.
• 자신의 몸체가 자주 가려지는 경우나 특징점이 명확하지 않은 실세계 영상 데이터셋(나비 및 쥐)에서 방법의 유효성을 검증하기 위해.

제안 방법

• 기본 FMP 모델을 먼저 적용하여 외관 및 공간적 부분 관계를 바탕으로 신속히 신체 부위를 검출하고, 상위 M개의 자세 후보를 생성한다.
• 상위 M개의 후보들은 뼈대 기반의 체형 사전 지식을 통해 기하학적 타당성을 강제하는 체형 일관성 FMP(scFMP) 모델을 통해 정밀하게 보정된다.
• 체형 모델은 인접한 부분 간의 '좋은 연속성'을 인코딩하여 날카롭거나 비현실적인 구성보다 매끄럽고 해부학적으로 타당한 변형을 선호한다.
• 계단식 설계 덕분에 초반 FMP 단계에서 유망한 후보들만을 대상으로 체형 기반 검색을 제한함으로써 계산 비용을 줄일 수 있다.
• 부분 위치와 체형 일관성을 동시에 최적화하기 위해 조건부 랜덤 필드(CRF) 프레임워크를 사용하며, 부분 검출기는 HOG 템플릿 기반으로 구성된다.
• 비교를 위해 동일한 데이터셋에 대해 미세조정된 딥 러닝 기반 기준선(컨volutional 퍼즈 머신, CPM)을 사용하여 유사 조건 하에서 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 특징이 뚜렷하지 않고 자주 자기 가림을 겪는 소형 실험 동물에서 체형 모델링을 명시적으로 적용하면 자세 추적의 견고성이 향상되는가?
• RQ2 빠른 외관 기반 필터링과 체형 인식 보정을 조합한 계단식 아키텍처가 종단 간 딥 러닝 또는 표준 FMP보다 더 높은 정확도와 효율성을 달성하는가?
• RQ3 체형 일관성의 통합이 나비의 올림프턴 자세나 쥐의 꼬리 움직임 등 어려운 자세 상황에서 성능에 어떤 영향을 미치는가?
• RQ4 제한된 애너테이션과 높은 가림 정도를 가진 데이터셋에서 제안된 방법이 강력한 딥 러닝 기준선(CPM)을 얼마나 뛰어나게 하는가?

주요 결과

• 나비 데이터셋에서 상위 80개 자세 후보를 반환할 때 scFMP 모델은 평균 PCK가 0.83을 기록하여 CPM 기준선(0.59)과 원래 FMP(상태 M=1일 때 0.56)를 크게 앞서나갔다.
• 쥐 데이터셋에서는 프레임 기반 및 시퀀스 기반 정확도 모두에서 scFMP 모델이 원래 FMP를 일관되게 능가하여 음영에 의한 영향에 대한 견고성과 꼬리와 같은 얇은 신체 부위의 정확한 국소화 능력이 향상됨을 보였다.
• 정성적 결과에서는 scFMP 모델이 음영 상황에서도 연속적인 신체 변형을 성공적으로 복원하는 반면, FMP 모델은 종종 타당한 구성 유지에 실패하는 것으로 나타났다.
• 계단식 설계 덕분에 검색 공간을 줄여 체형 기반 보정의 계산 가능성을 유지하면서도 높은 정확도를 확보했다.
• 형태 제약 조건 없이 에지 강도와 밝기 값에 대해 CPM을 훈련시킨 결과 평균 PCK가 0.50에 머물러, 이 데이터셋에서는 형태 정보가 성능 향상에 필수적임을 시사했다.