[논문 리뷰] PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation

Fenggen Yu, Kun Liu외 3명|arXiv (Cornell University)|2019. 03. 02.

3D Shape Modeling and Analysis참고 문헌 41인용 수 4

한 줄 요약

PartNet는 구조적 복잡성에 따라 임의의 수의 부품으로 분해할 수 있는 유연한 계층적 세밀한 3D 형상 분할을 위한 재귀 신경망 기반 딥러닝 모델을 제안한다. 트리 구조의 계층에서 공유 가중치를 사용하고, 재귀적 문맥 특징을 전파하며, 부품별 기하학적 특징을 강화함으로써 상태최저 성능을 달성한다. 동시에 분해 유형(접합/대칭)과 정지 기준을 공동으로 예측한다.

ABSTRACT

Deep learning approaches to 3D shape segmentation are typically formulated as a multi-class labeling problem. Existing models are trained for a fixed set of labels, which greatly limits their flexibility and adaptivity. We opt for top-down recursive decomposition and develop the first deep learning model for hierarchical segmentation of 3D shapes, based on recursive neural networks. Starting from a full shape represented as a point cloud, our model performs recursive binary decomposition, where the decomposition network at all nodes in the hierarchy share weights. At each node, a node classifier is trained to determine the type (adjacency or symmetry) and stopping criteria of its decomposition. The features extracted in higher level nodes are recursively propagated to lower level ones. Thus, the meaningful decompositions in higher levels provide strong contextual cues constraining the segmentations in lower levels. Meanwhile, to increase the segmentation accuracy at each node, we enhance the recursive contextual feature with the shape feature extracted for the corresponding part. Our method segments a 3D shape in point cloud into an unfixed number of parts, depending on the shape complexity, showing strong generality and flexibility. It achieves the state-of-the-art performance, both for fine-grained and semantic segmentation, on the public benchmark and a new benchmark of fine-grained segmentation proposed in this work. We also demonstrate its application for fine-grained part refinements in image-to-shape reconstruction.

연구 동기 및 목표

• 기존 딥러닝 모델이 고정된 의미적 레이블 세트에만 훈련되어 있어 다양한 부품 수에 대응하는 데 유연성이 떨어지는 문제를 해결하기 위해.
• 형상 분해의 계층적 성격을 활용하여 상향식 재귀 이진 분할 과정으로 모델링함으로써, 문맥적 제약 조건을 통해 분할 정확도를 향상시키기 위해.
• 구조적 복잡성에 따라 고정된 레이블이 아닌 임의의 수의 부품으로 분할할 수 있는 민감한 아키텍처를 개발하기 위해.
• 각 분해 노드에서 전역적 재귀적 문맥 특징과 국소적 부품 기하학을 통합하여 분할 정확도를 향상시키기 위해.
• 이미지-형상 복원과 같은 후속 작업에서 세밀한 계층적 분할의 유용성을 입증하기 위해.

제안 방법

• 모델는 3D 형상을 포인트 클라우드로 표현한 상태에서, 계층 내 모든 노드에 공유 가중치를 사용하는 재귀 신경망(RvNN)을 사용해 상향식 이진 분해를 수행한다.
• 각 노드에서 분해 유형(접합 또는 대칭)과 정지 여부(리프 노드)를 예측하는 분류기가 작동하여 동적이고 구조 인식 가능한 분할을 가능하게 한다.
• 재귀적 문맥 특징은 부모 노드에서 자식 노드로 전파되어 하위 수준의 분할을 제약하는 고수준의 구조적 단서를 제공한다.
• 각 하위 부품에 대해 국소적 부품 기하학적 특징을 추출하고, 이를 재귀적 문맥 특징과 융합하여 각 노드에서의 국소화 정확도를 향상시킨다.
• 계층 내 모든 노드에서 노드 분류 손실과 이진 포인트 레이블링 손실을 조합한 다중 작업 손실을 사용해 엔드 투 엔드로 훈련한다.
• 정련 과정 동안 하향식 조합을 통해 부품 포인트 클라우드를 구성하고, 이를 개별 부품의 정련을 감독하는 계층적 복원 손실을 적용한다.

실험 결과

연구 질문

• RQ1 고정된 의미적 레이블 세트에 제한되지 않고, 임의의 수의 부품으로 분해 가능한 민감한 계층적 3D 형상 분할을 수행할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 고수준 분해에서 유도된 재귀적 문맥 특징은 하위 수준의 부품 분할 정확도를 어떻게 향상시키는가?
• RQ3 접합/대칭 유형의 분해 유형과 정지 기준을 공동으로 예측하는 것이 세밀한 부품 분할을 향상시킬 수 있는가?
• RQ4 국소적 부품 기하학을 전역적 재귀적 문맥 특징과 통합할 경우 분할 성능 향상 정도는 어느 정도인가?
• RQ5 PartNet가 학습한 계층적 구조는 단일 뷰 이미지에서의 저품질 3D 복원을 보완하는 데 효과적으로 활용될 수 있는가?

주요 결과

• PartNet는 공개된 ShapeNet 벤치마크와 새로 제안된 세밀한 분할 벤치마크에서 모두 최고 성능을 기록하여, 세밀한 분할과 의미적 분할 모두에서 뛰어난 정확도를 입증했다.
• 고정된 레이블 모델이 정의된 부품 수에 국한되는 것과 달리, 복잡한 형상을 구조적 복잡성에 따라 임의의 수의 부품으로 성공적으로 분할할 수 있었다.
• 재귀적 문맥 특징과 국소적 부품 기하학의 통합은 특히 세밀한 수준에서 더 정확하고 문맥적으로 일관된 분할을 이끌어내었다.
• 모델는 대칭적이고 인접한 부품을 정확히 식별하여, 구조적으로 대칭적인 형상에서 레이블 일관성을 향상시키고 오류를 줄였다.
• 이미지-형상 복원 작업에서, 계층적 부품 분해를 활용해 국소적이고 구조 인식 가능한 최적화를 수행함으로써 복원된 포인트 클라우드의 고품질 정련을 가능하게 하였다.
• 제거 실험 결과, 규칙 기반 방법으로 구축한 진짜 계층을 사용해 훈련할 경우 성능 향상이 뚜렷하게 나타나, 구조적 지도 학습의 중요성을 시사했다.