[논문 리뷰] Recovering articulated object models from 3D range data

Dragomir Anguelov, Daphne Koller외 3명|arXiv (Cornell University)|2004. 07. 07.

Human Pose and Action Recognition참고 문헌 26인용 수 80

한 줄 요약

이 논문은 3D 레인지 데이터에서 겹치는 부분이 있는 강체 부분과 그들의 공간적 구성 및 뼈대 구조를 동시에 분할함으로써, 3차원 범위 데이터로부터 조인트가 있는 물체 모델을 비지도 학습 방식으로 복원하는 알고리즘을 제시한다. 비강체 정합 이후 공간적 인접성을 강제하는 EM 기반 그래픽 모델을 사용함으로써, 비강체 변형 조건에서도 다수의 부분을 효율적으로 식별할 수 있으며, 단지 7개의 구성만으로도 15부분의 퍼프렛 인형 모델을 복원하는 데 성공하였다.

ABSTRACT

We address the problem of unsupervised learning of complex articulated object models from 3D range data. We describe an algorithm whose input is a set of meshes corresponding to different configurations of an articulated object. The algorithm automatically recovers a decomposition of the object into approximately rigid parts, the location of the parts in the different object instances, and the articulated object skeleton linking the parts. Our algorithm first registers all the meshes using an unsupervised non-rigid technique described in a companion paper. It then segments the meshes using a graphical model that captures the spatial contiguity of parts. The segmentation is done using the EM algorithm, iterating between finding a decomposition of the object into rigid parts, and finding the location of the parts in the object instances. Although the graphical model is densely connected, the object decomposition step can be performed optimally and efficiently, allowing us to identify a large number of object parts while avoiding local maxima. We demonstrate the algorithm on real world datasets, recovering a 15-part articulated model of a human puppet from just 7 different puppet configurations, as well as a 4 part model of a flexing arm where significant non-rigid deformation was present.

연구 동기 및 목표

• 3D 레인지 데이터에서 사전 애너테이션 없이도 조인트가 있는 물체 모델을 비지도 학습 방식으로 학습하는 문제에 대응하기 위해.
• 다양한 메시 구성에서 복잡한 조인트 물체를 약간의 강체 부분으로 자동 분해하기 위해.
• 다른 물체 인스턴스들 간의 부분의 공간적 위치를 동시에 추정하고, 그들의 기반 뼈대 구조를 재구성하기 위해.
• 밀도 높은 그래픽 모델에도 불구하고 국소 최적해에 갇히는 것을 방지하기 위해 효율적이고 전역 최적의 강체 분할 알고리즘을 개발하기 위해.

제안 방법

• 모든 입력 메시를 비지도 방식으로 비강체 정합하여 동일한 좌표계에 정렬함으로써 시작한다.
• 메시 영역 간의 공간적 인접성을 코딩하기 위해 밀도 높은 연결 그래프 모델을 구축함으로써 부분 간 관계를 모델링한다.
• EM 알고리즘이 반복적으로 두 단계를 수행한다: (1) 메시를 부분들로 강체 분할하고, (2) 다양한 인스턴스들 간의 부분 위치 추정.
• 밀도 높은 그래프 모델에도 불구하고 국소 최대값에 갇히지 않도록 특수화된 알고리즘을 사용해 강체 분할 문제를 최적이고 효율적으로 해결한다.
• 알고리즘은 부분 식별, 각 인스턴스 내에서의 공간적 위치, 그리고 이들을 연결하는 조인트 뼈대를 동시에 추론한다.
• 실제 데이터셋에서의 검증을 통해 비강체 변형에 대해 강건함을 입증하였으며, 복잡한 형태 변화가 있는 환경에서도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 동일한 물체의 여러 3D 스캔 데이터에서, 일관된 조인트 모델을 자동으로 복원할 수 있는가?
• RQ2 수동 감독 없이 강체 부분, 그들의 공간적 구성, 그리고 뼈대를 동시에 추정할 수 있는가?
• RQ3 비강체 변형이 존재하는 상황에서도 약간의 강체 성분을 식별할 수 있는가?
• RQ4 밀도 높은 그래픽 모델의 복잡성에도 불구하고, 부분 분할에서 국소 최적해를 피할 수 있는가?

주요 결과

• 단지 7개의 서로 다른 구성만으로도 15부분의 조인트 인형 모델을 성공적으로 복원하였다.
• 입력 데이터에 상당한 비강체 변형이 존재함에도 불구하고, 굽히는 팔의 4부분 조인트 모델을 재구성하였다.
• 사람이 레이블링한 부분 애너테이션이 전혀 필요 없이도 정확한 부분 분할과 뼈대 추정을 달성하였다.
• EM 기반 최적화는 국소 최적해를 피하고 전역 최적의 해에 수렴하였다.
• 비지도 비강체 정합 단계는 다양한 자세의 물체 간 일관된 정렬을 가능하게 하여 신뢰할 수 있는 부분 식별을 가능하게 하였다.
• 밀도 높은 그래프 모델은 공간적 인접성을 효과적으로 포착하여 물리적으로 타당한 부분 그룹화를 이끌어냈다.