[논문 리뷰] CASA: Category-agnostic Skeletal Animal Reconstruction

Yuefan Wu, Zeyuan Chen외 3명|arXiv (Cornell University)|2022. 11. 04.

Human Pose and Action Recognition인용 수 12

한 줄 요약

CASA는 단일 영상에서 카테고리에 관계없이 뼈대 기반의 동물 재구성 방법을 제안한다. 먼저 CLIP 기반의 영상-형태 검색을 통해 적합한 3D 캐릭터 템플릿을 추출한 후, 신경역그래픽 프레임워크를 사용해 형태, 뼈대 구조, 스킨닝 웨이트, 관절 각도를 동시에 최적화한다. 이 방법은 4D 재구성에서 최신 기술 수준의 성능을 달성하며, 카테고리별 사전 지식 없이 다양한 동물을 현실적으로 재생할 수 있다.

ABSTRACT

Recovering the skeletal shape of an animal from a monocular video is a longstanding challenge. Prevailing animal reconstruction methods often adopt a control-point driven animation model and optimize bone transforms individually without considering skeletal topology, yielding unsatisfactory shape and articulation. In contrast, humans can easily infer the articulation structure of an unknown animal by associating it with a seen articulated character in their memory. Inspired by this fact, we present CASA, a novel Category-Agnostic Skeletal Animal reconstruction method consisting of two major components: a video-to-shape retrieval process and a neural inverse graphics framework. During inference, CASA first retrieves an articulated shape from a 3D character assets bank so that the input video scores highly with the rendered image, according to a pretrained language-vision model. CASA then integrates the retrieved character into an inverse graphics framework and jointly infers the shape deformation, skeleton structure, and skinning weights through optimization. Experiments validate the efficacy of CASA regarding shape reconstruction and articulation. We further demonstrate that the resulting skeletal-animated characters can be used for re-animation.

연구 동기 및 목표

• 제약 없는 단일 영상에서 카테고리별 사전 지식이나 앵커파일을 사용하지 않고 3D 뼈대 동물을 재구성하는 문제를 해결하기 위해.
• 기존 방법에서 사용하는 제어점 또는 자유형 변형 방식이 애니메이션 가능하고 토폴로지가 일관된 뼈대를 생성하지 못하는 한계를 극복하기 위해.
• 다양한 동물 카테고리, 심지어 알려지지 않은 종을 포함하여 현실적인 형태와 운동성을 갖춘 일반화 가능한 프레임워크를 개발하기 위해.
• 종합적 평가를 위한 기준이 되는 3D 형태, 뼈대, 레이아웃이 제공되는 대규모이고 현실적인 합성 데이터셋인 PlanetZoo를 구축하기 위해.
• 표준 애니메이션 파이프라인과 호환되는 뼈대 메esh를 생성하여 후속 애니메이션 작업을 가능하게 하기 위해.

제안 방법

• 사전 학습된 CLIP 모델을 활용한 영상-형태 검색 프로세스를 통해 입력 영상과 이미지-텍스트 정렬 기반으로 대규모 자산 뱅크에서 적합한 3D 캐릭터를 매칭한다.
• 검색된 3D 캐릭터가 신경역그래픽 프레임워크의 초기화 자료로 사용되며, 이 프레임워크는 형태 변형, 뼈대 구조(뼈 길이 및 관절 각도), 스킨닝 웨이트를 동시에 최적화한다.
• 최적화 프레임워크는 마스크 일관성, 광학 흐름 일관성, 대칭 정규화, 부드러움 등의 에너지 항목을 포함하여 기하학적 및 시간적 일관성을 보장한다.
• 변형 중에도 전반적인 형태 일관성을 유지하고 局부 불연속성을 방지하기 위해 유연한 뼈대 변형 모델을 사용한다.
• 렌더링 결과와 입력 영상 프레임을 비교하기 위해 기울기 가능 렌더링 파이프라인을 활용하여 엔드 투 엔드 최적화를 가능하게 한다.
• CLIP 기반 검색을 활용한 새로운 초기화 전략이 무작위 또는 k-means 기반 초기화보다 재구성 품질을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 카테고리별 사전 지식이나 앵커파일 없이 제약 없는 단일 영상에서 현실적인 3D 뼈대 동물을 재구성할 수 있는가?
• RQ2 CLIP 기반의 영상-형태 검색이 다양한 종에서 정확한 3D 동물 재구성을 초기화하는 데 얼마나 효과적인가?
• RQ3 정점 수준의 변형과 비교해 복합 뼈대 모델을 통합할 경우 형태 및 운동성 품질이 얼마나 향상되는가?
• RQ4 다양한 최적화 구성 요소(예: 광학 흐름, 대칭, 부드러움)가 재구성 정확도와 내구성에 기여하는 정도는 어떠한가?
• RQ5 재구성된 3D 뼈대 동물이 새로운 자세로 효과적으로 재타겟팅되고 애니메이션될 수 있는가?

주요 결과

• CASA는 합성 데이터셋인 PlanetZoo와 실제 영상 데이터셋인 DAVIS에서 모두 최신 기술 수준의 성능을 달성했으며, 평균 IOU는 0.512, 평균 카프먼 거리는 0.053이다.
• 제거 실험 결과, 마스크 일관성 항목을 제거할 경우 성능 저하가 가장 심각하여 형태 재구성에서 핵심적인 역할을 함을 시사한다.
• CLIP 기반 검색을 사용할 경우 ImageNet 기반 검색보다 훨씬 우수한 성능을 보였으며(mIOU: 0.512 vs. 0.111), 의미적 정렬의 중요성을 입증한다.
• 탄성 뼈대 변형 모델을 통합함으로써 코와 입 주변의 시각적 잡음(불연속성 등)이 감소하고 기하학적 일관성이 향상된다.
• 검색 기반 초기화가 필수적이다. k-means나 고정된 스킨닝 웨이트 초기화는 성능이著しく 열등하며(mIOU: 0.305–0.433), 이는 초기화의 중요성을 시사한다.
• 재구성된 3D 캐릭터는 애니메이션 가능하며, 새로운 자세로 성공적으로 재타겟팅되어 후속 애니메이션 작업에서 실용적 유용성을 입증한다.