[논문 리뷰] Coarse-to-fine Animal Pose and Shape Estimation

Chen Li, Gim Hee Lee|arXiv (Cornell University)|2021. 11. 16.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 SMAL 기반의 매개변수 모델링과 그래프 컬러리션 네트워크(MRGCN)를 통한 버텍스 수준의 정밀 조정을 결합한 코arse-to-fine 3D 동물 자세 및 형태 추정 방법을 제안한다. 인코더-디코더 GCN 아키텍처를 통해 전역 이미지 특징과 국소 버텍스 수준의 특징을 모두 활용함으로써, StanfordExtra에서 최신 기술 수준의 성능을 달성하고, Animal Pose 및 BADJA와 같은 새로운 데이터셋으로의 일반화 능력도 뛰어나다.

ABSTRACT

Most existing animal pose and shape estimation approaches reconstruct animal meshes with a parametric SMAL model. This is because the low-dimensional pose and shape parameters of the SMAL model makes it easier for deep networks to learn the high-dimensional animal meshes. However, the SMAL model is learned from scans of toy animals with limited pose and shape variations, and thus may not be able to represent highly varying real animals well. This may result in poor fittings of the estimated meshes to the 2D evidences, e.g. 2D keypoints or silhouettes. To mitigate this problem, we propose a coarse-to-fine approach to reconstruct 3D animal mesh from a single image. The coarse estimation stage first estimates the pose, shape and translation parameters of the SMAL model. The estimated meshes are then used as a starting point by a graph convolutional network (GCN) to predict a per-vertex deformation in the refinement stage. This combination of SMAL-based and vertex-based representations benefits from both parametric and non-parametric representations. We design our mesh refinement GCN (MRGCN) as an encoder-decoder structure with hierarchical feature representations to overcome the limited receptive field of traditional GCNs. Moreover, we observe that the global image feature used by existing animal mesh reconstruction works is unable to capture detailed shape information for mesh refinement. We thus introduce a local feature extractor to retrieve a vertex-level feature and use it together with the global feature as the input of the MRGCN. We test our approach on the StanfordExtra dataset and achieve state-of-the-art results. Furthermore, we test the generalization capacity of our approach on the Animal Pose and BADJA datasets. Our code is available at the project website.

연구 동기 및 목표

• 매개변수 모델링에 사용되는 SMAL 모델은 놀이용 동물에 대해 훈련되어 있으며, 자세 및 형태의 변동 범위가 제한되어 있어 실제 동물 이미지에 대한 피팅 성능이 열 劣하다는 한계를 해결한다.
• 2D 약한 감독(관절점과 실루엣)만을 사용하여 단일 RGB 이미지에서 3D 메쉬 재구성 정확도를 향상시킨다.
• 전역 이미지 특징만으로는 미세한 기하학적 세부 정보를 포착하지 못해, 세밀한 형태 정밀 조정에 어려움이 있다는 문제를 해결한다.
• 매개변수 표현과 비매개변수 표현을 조합한 계층적 메쉬 정밀 조정 프레임워크를 설계하여 보다 우수한 3D 재구성 성능를 확보한다.
• Animal Pose 및 BADJA와 같은 다양한 새로운 데이터셋에서의 일반화 능력을 입증한다.

제안 방법

• 단일 RGB 이미지에서 SMAL 모델의 매개변수(형태, 자세, 이동)를 회귀하여 코어스 추정 단계를 수행한다.
• 추정된 SMAL 매개변수로부터 초기 3D 메쉬를 생성하여 정밀 조정의 기초로 사용한다.
• 계층적 특징 학습과 더 넓은 유효 수신 영역을 가능하게 하기 위해 인코더-디코더 구조를 가진 메쉬 정밀 조정 GCN(MRGCN)을 설계한다.
• 각 노드에 전역 이미지 수준의 특징과 국소 버텍스 수준의 특징을 모두 통합하여 기하학적 세부 정보의 포착 능력을 향상시킨다.
• 훈련 중 실루엣 예측 최적화를 위해 Tversky 손실을 사용하여 마스크 정렬을 향상시킨다.
• 정밀 조정된 메쉬를 활용해 훈련 중 약한 감독을 위해 2D 관절점과 실루엣을 예측한다.

실험 결과

연구 질문

• RQ1 매개변수 표현(SMAL)과 비매개변수 표현(버텍스 수준)을 조합한 코어스-투-파인 프레임워크가 단일 이미지에서 3D 동물 메쉬 재구성 성능 향상에 기여하는가?
• RQ2 GCN 기반 정밀 조정 네트워크에 전역 이미지 특징과 국소 버텍스 수준의 특징을 모두 통합할 경우, 전역 특징만 사용하는 것보다 더 나은 형태 세부 정보 복구 성능를 달성하는가?
• RQ3 제안된 인코더-디코더 GCN 아키텍처가 메쉬 정밀 조정 작업에서 표준 GCN의 제한된 수신 영역 문제를 해결할 수 있는가?
• RQ4 기존 방법들과 비교해 볼 때, 도메인 이탈이 발생하는 데이터셋(예: Animal Pose 및 BADJA)에서도 제안된 방법의 일반화 능력은 어느 정도인가?
• RQ5 핵심 구성 요소(예: 국소 특징, 인코더-디코더 설계)를 제거할 경우 성능 저하가 발생하는가? 이는 해당 요소들이 필수적인지 확인하는 데 기여한다.

주요 결과

• 제안된 방법은 StanfordExtra 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, IOU는 81.6%이고, PCK@0.15는 94.4%였다.
• Animal Pose 데이터셋에서 기준 모델 WLDO 대비 IOU는 10.8% 향상되었고, 평균 PCK@0.15는 11.3% 향상되어 강력한 일반화 능력을 입증하였다.
• 제거 실험 결과, MRGCN를 제거한 경우(coarse-only) IOU는 72.5%로 감소하여 정밀 조정 단계의 필요성을 확인하였다.
• 국소 특징을 제거한 경우(-LF)는 코어스-오직 모델과 유사한 성능을 보였으며, 이는 전역 특징만으로는 미세한 세부 정보 복구에 부족함을 시사한다.
• 표준 GCN로 인코더-디코더 구조를 대체한 경우(-ED) IOU는 79.4%로 감소하여 계층적 특징 학습의 이점이 있음을 입증하였다.
• Tversky 손실 대신 L1 손실을 사용한 경우(-TL) 성능 저하가 발생하여, 실루엣 최적화에 Tversky 손실이 효과적임을 확인하였다.