[논문 리뷰] StrobeNet: Category-Level Multiview Reconstruction of Articulated Objects

Ge Zhang, Or Litany외 2명|arXiv (Cornell University)|2021. 05. 17.

3D Shape Modeling and Analysis참고 문헌 56인용 수 7

한 줄 요약

StrobeNet는 한 개 이상의 포즈가 지정되지 않은 RGB 이미지에서 관절 구조를 가진 물체의 카테고리 수준 3차원 재구성에 사용되는 학습 기반 방법으로, 다양한 포즈를 동일한 표준 공간으로 통합하기 위해 관절 구조 표준화를 사용한다. 이는 기능이 풍부한 표준 상태의 점군, 관절 위치 및 부위 분할을 추정함으로써 대응 없이 다중 시점 융합이 가능하게 하며, 부드럽고 애니메이션 가능한 암묵적 3차원 재구성을 생성하여, 새로운 인스턴스와 임의의 포즈로 일반화된다.

ABSTRACT

We present StrobeNet, a method for category-level 3D reconstruction of articulating objects from one or more unposed RGB images. Reconstructing general articulating object categories % has important applications, but is challenging since objects can have wide variation in shape, articulation, appearance and topology. We address this by building on the idea of category-level articulation canonicalization -- mapping observations to a canonical articulation which enables correspondence-free multiview aggregation. Our end-to-end trainable neural network estimates feature-enriched canonical 3D point clouds, articulation joints, and part segmentation from one or more unposed images of an object. These intermediate estimates are used to generate a final implicit 3D reconstruction.Our approach reconstructs objects even when they are observed in different articulations in images with large baselines, and animation of reconstructed shapes. Quantitative and qualitative evaluations on different object categories show that our method is able to achieve high reconstruction accuracy, especially as more views are added.

연구 동기 및 목표

• 희귀한 관절 구조를 가진 물체의 희소하고 포즈가 지정되지 않은 RGB 이미지에서 3차원 형태를 재구성하는 도전 과제를 해결한다.
• 다양한 시점 간의 형태와 관절 구조의 변동성을 극복하기 위해 카테고리 수준의 사전 지식을 학습한다.
• 관절 구조 표준화를 통해 관찰을 공통된 포즈 공간으로 변환함으로써, 관절 구조를 가진 물체에 대해 대응 없이 다중 시점 융합을 가능하게 한다.
• 카테고리 전용 템플릿이 필요 없이 연속적이고 애니메이션 가능한 암묵적 3차원 재구성을 생성한다.
• 추론 시기에 임의의 관절 구조로 물체의 재포지셔닝과 재구성을 지원한다.

제안 방법

• 120만 개 이상의 시점이 포함된 대규모 합성 데이터셋(SAPIEN 및 Shape2Motion)을 활용하여 카테고리 수준의 형태 사전 지식을 학습하는 신경망을 훈련한다.
• 관절 구조 표준화를 사용하여 다양한 입력 포즈를 표준 3차원 공간으로 매핑함으로써, 대응 매칭 없이도 일관된 다중 시점 융합이 가능하게 한다.
• 종단 간 신경망을 훈련하여, 포즈가 지정되지 않은 RGB 이미지에서 (1) 기능이 풍부한 표준 상태의 3차원 점군, (2) 관절 위치 및 방향, (3) 부위 분할을 예측한다.
• 다양한 시점 간의 표준 재구성을 정규화하기 위해 일관성 손실를 적용함으로써 기하학적 정확도를 향상시킨다.
• 로컬 이미지 특징을 적용하여 올리프트된 3차원 점을 통해 외관 정보를 전파함으로써 재구성 정확도를 향상시킨다.
• 표준 상태 점군과 관절 예측 결과를 기반으로 신경 암묵 함수 네트워크를 구동하여 매끄럽고 연속적인 3차원 형태를 생성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 또는 소수의 포즈가 지정되지 않은 RGB 이미지에서 고품질의 애니메이션 가능한 3차원 형태를 재구성할 수 있는가?
• RQ2 관절 구조 표준화가 다양한 포즈를 가진 관절 구조를 가진 물체에 대해 대응 없이 다중 시점 융합을 얼마나 효과적으로 가능하게 하는가?
• RQ3 정답 대응 정보가 없을 때 관절 예측과 부위 분할이 3차원 재구성 정확도에 얼마나 기여하는가?
• RQ4 모델은 카테고리에 속하지 않은 새로운 인스턴스에 대해 일반화되며, 추론 시기에 임의의 관절 구조로 재포지셔닝을 지원할 수 있는가?
• RQ5 다중 시점 재구성 설정에서 입력 시점 수가 증가함에 따라 성능은 어떻게 변화하는가?

주요 결과

• StrobeNet는 OccNet-F와 같은 강성 다중 시점 융합 기반 모델보다 Chamfer 거리(CD)와 교차율(IoU) 모두에서 뚜렷이 뛰어나며, 더 많은 시점이 추가될수록 성능 향상이 두드러진다.
• 새로 생성된 3개의 관절 구조 카테고리(안경, 노트북, 오븐)를 포함하는 데이터셋에서 StrobeNet는 평균 CD 1.25와 평균 IoU 54.84를 달성하여 높은 재구성 정확도를 입증한다.
• 제거 실험 결과, 일관성 손실와 로컬 특징 전파 모두가 핵심 요소임을 확인: 둘 중 하나를 제거하면 CD는 0.19–0.75 증가하고 IoU는 3–6 포인트 감소한다.
• 입력 시점 수가 많아질수록 재구성 품질이 단조롭게 향상되며, 두 시점으로만 훈련된 경우에도 더 큰 입력 집합으로의 일반화 능력이 뛰어나다.
• 모델은 점군과 메쉬 모두에서 임의의 구성으로 재포지셔닝이 가능한 애니메이션 가능한 3차원 모델을 성공적으로 생성한다.
• 입력 포즈 재구성 오차가 높은 편이지만(포즈 불일치로 인한), 표준 재구성 결과는 미세한 디테일을 유지하여 소규모 포즈 오차에 대해 강건함을 보여준다.