[논문 리뷰] CoSegNet: Deep Co-Segmentation of 3D Shapes with Group Consistency Loss.

Chenyang Zhu, Kai Xu외 4명|arXiv (Cornell University)|2019. 03. 25.

3D Shape Modeling and Analysis참고 문헌 35인용 수 9

한 줄 요약

CoSegNet는 일관된 사용자 정의 파트(최대 K개)로 3D 포인트 클라우드 형상을 동시 분할하기 위한 약한 지도 학습 딥 러닝 프레임워크이다. 행렬 질량 추정 기반의 새로운 그룹 일관성 손실과 보조 노이즈 제거 네트워크를 사용하여, 일관된 지도 데이터가 없는 상황에서도 형상 집합 전체에 걸쳐 일관된 레이블링을 달성한다.

ABSTRACT

We introduce CoSegNet, a deep neural network architecture for co-segmentation of a set of 3D shapes represented as point clouds. CoSegNet takes as input a set of unsegmented shapes, proposes per-shape parts, and then jointly optimizes the part labelings across the set subjected to a novel group consistency loss expressed via matrix rank estimates. The proposals are refined in each iteration by an auxiliary network that acts as a weak regularizing prior, pre-trained to denoise noisy, unlabeled parts from a large collection of segmented 3D shapes, where the part compositions within the same object category can be highly inconsistent. The output is a consistent part labeling for the input set, with each shape segmented into up to K (a user-specified hyperparameter) parts. The overall pipeline is thus weakly supervised, producing consistent segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from CoSegNet and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

연구 동기 및 목표

• 일관되지 않거나 제공되지 않은 지도 데이터가 존재할 때 3D 형상을 일관된 파트로 동시 분할하는 문제를 해결하기 위해.
• 새로운 그룹 일관성 손실을 사용하여 다수의 형상 집합에서 파트 레이블링을 동시에 최적화하는 딥 러닝 프레임워크를 개발하기 위해.
• 정렬된 또는 일관된 인간 레이블이 필요 없이, 최대 K개의 파트로 미분할 3D 형상을 일관되게 분할하기 위해.
• 사전 훈련된 보조 네트워크를 약한 정규화 사전 지식으로 활용하여 다양한 3D 형상 컬렉션에서 유도된 노이즈가 많은 레이블 없는 파트 제안을 개선하기 위해.

제안 방법

• CoSegNet는 분할되지 않은 3D 포인트 클라우드 집합을 입력으로 받아 각 형상에 대한 초기 파트 제안을 생성한다.
• 행렬 질량 추정 기반의 새로운 그룹 일관성 손실을 적용하여 전체 형상 집합에 걸쳐 일관된 파트 레이블링을 강제한다.
• 대규모 분할된 3D 형상 컬렉션에서 사전 훈련된 보조 노이즈 제거 네트워크가 약한 정규화 사전 지식으로 작용하여 초기 파트 제안을 개선한다.
• 엔드 투 엔드 역전파를 통해 모든 형상에 걸쳐 파트 레이블링을 동시에 최적화하며, 그룹 일관성 손실이 파트의 구조적 정렬을 장려한다.
• 모델은 약한 지도 학습 기반으로 작동하며, 입력 집합의 구조와 사전 훈련된 노이즈 제거기의 사전 지식에 의존할 뿐, 정렬된 애너테이션은 필요로 하지 않는다.
• 각 형상의 파트 수는 사용자가 지정한 하이퍼파rameter K에 의해 제어되며, 이는 각 형상의 최대 세그먼트 수를 정의한다.

실험 결과

연구 질문

• RQ1 약한 지도 데이터가 존재하거나 일관되지 않은 지도 애너테이션을 요구하지 않고, 정렬되지 않은 형상 집합에서 일관된 3D 형상 동시 분할을 달성할 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 행렬 질량 기반의 그룹 일관성 손실이 다수의 3D 형상 간에 파트의 구조적 정렬을 얼마나 효과적으로 강제하는가?
• RQ3 사전 훈련된 노이즈 제거 네트워크가 동시 분할에서 파트 제안 품질을 향상시키기 위해 약한 정규화 사전 지식으로 얼마나 효과적으로 기능하는가?
• RQ4 상태의 기술에 비해 CoSegNet의 일관성과 분할 정확도 측면에서 성능은 어떠한가?
• RQ5 동일 카테고리 내에서 파트 구성이 매우 이질적인 다양한 3D 형상에 대해 이 프레임워크는 잘 일반화되는가?

주요 결과

• CoSegNet는 정성적 및 정량적 평가에서 모두 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 제안된 행렬 질량 추정 기반의 그룹 일관성 손실이 형상 집합 전체에 걸쳐 파트 레이블링의 일관성을 크게 향상시킨다.
• 보조 노이즈 제거 네트워크는 초기 파트 제안의 노이즈를 효과적으로 감소시켜 더 정확하고 일관성 있는 분할을 이끈다.
• 절단 실험 결과, 그룹 일관성 손실과 보조 네트워크 양자가 최종 성능에 의미 있는 기여를 한다는 것이 확인된다.
• 동일 카테고리 내에서 파트 구성이 매우 이질적인 형상에 대해서도 이 프레임워크는 레이블 변동성에 대해 강건함을 보이며 잘 일반화된다.