[논문 리뷰] Neural Shape Mating: Self-Supervised Object Assembly with Adversarial Shape Priors

Yunchun Chen, Haoda Li외 3명|arXiv (Cornell University)|2022. 05. 30.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

이 논문은 신경형상 결합(NEURAL SHAPE MATING, NSM)을 소개한다. NSM는 의미 정보나 목표 형태 없이도 점군(point clouds)만을 기반으로 두 기하학적 물체 부위 간에 정밀한 3D 자세를 예측하는 자기지도 학습 방법이다. NSM는 적대적 형상 사전과 암묵적 형상 복원을 갖춘 트랜스포머 기반 네트워크를 사용하여 다양한 물체 종류와 절단 유형에서 20만 개의 부품을 포함하는 신규로 수집된 기하학적 결합 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Learning to autonomously assemble shapes is a crucial skill for many robotic applications. While the majority of existing part assembly methods focus on correctly posing semantic parts to recreate a whole object, we interpret assembly more literally: as mating geometric parts together to achieve a snug fit. By focusing on shape alignment rather than semantic cues, we can achieve across-category generalization. In this paper, we introduce a novel task, pairwise 3D geometric shape mating, and propose Neural Shape Mating (NSM) to tackle this problem. Given the point clouds of two object parts of an unknown category, NSM learns to reason about the fit of the two parts and predict a pair of 3D poses that tightly mate them together. We couple the training of NSM with an implicit shape reconstruction task to make NSM more robust to imperfect point cloud observations. To train NSM, we present a self-supervised data collection pipeline that generates pairwise shape mating data with ground truth by randomly cutting an object mesh into two parts, resulting in a dataset that consists of 200K shape mating pairs from numerous object meshes with diverse cut types. We train NSM on the collected dataset and compare it with several point cloud registration methods and one part assembly baseline. Extensive experimental results and ablation studies under various settings demonstrate the effectiveness of the proposed algorithm. Additional material is available at: https://neural-shape-mating.github.io/

연구 동기 및 목표

• 의미 정보나 목표 형태 안내 없이 기하학적 맞춤에 기반해 3D 물체 부위를 조립하는 문제를 해결하기 위해.
• 부분의 의미가 아닌 局부 기하학적 상관관계에 초점을 맞춰 다양한 카테고리 간 일반화를 가능하게 하기 위해.
• 실제 3D 메시를 무작위로 절단하여 현실적인 형상 결합 쌍을 생성하는 자기지도 학습 데이터 수집 파이프라인을 개발하기 위해.
• 노이즈가 많거나 부분적으로 손상된 점군 관측치에도 일반화 가능한 3D 자세 예측 모델을 훈련하기 위해.
• 미래 연구를 위해 11개 카테고리에 걸쳐 20만 개의 기하학적 형상 결합 쌍을 포함하는 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• NSM는 두 입력 점군의 국소적 특징 간 비대칭 기하학적 상관관계를 주의 메커니즘(attention)으로 다루기 위해 트랜스포머 기반 인코더를 사용한다.
• 모델은 두 부위 간의 조임을 이루기 위해 6차원 자세(이동 및 회전)를 예측하며, 이는 자세 예측 문제로 수식화된다.
• 실제 결합 구성과 생성된 구성 간을 구분하는 적대적 판별기(discriminator)를 훈련시켜 타당한 형상 사전을 학습한다.
• 노이즈가 많거나 완전하지 않은 점군에 대한 강건성을 향상시키기 위해 별도의 암묵적 형상 복원 헤드(SDF 네트워크)를 함께 훈련시킨다.
• 실제 ShapeNet, Thingi10K, 스캔된 데이터셋의 3D 메시를 평면, 사인, 포물선, 정사각형, 펄스 함수를 사용해 두 부분으로 자르는 자기지도 학습 데이터 생성 파이프라인을 구현한다.
• 자세 손실, 적대적 손실, SDF 회귀 손실의 조합을 사용해 훈련을 최적화하며, 생성자와 판별기의 교차 업데이트 방식을 적용한다.

실험 결과

연구 질문

• RQ1 의미 주석이나 목표 형태 없이 점군만을 사용해 두 기하학적 부위 간 정확한 3D 결합 자세를 예측할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 학습된 형상 사전을 갖춘 적대적 훈련이 예측된 결합 구성의 현실성과 타당성을 향상시키는 데 얼마나 효과적인가?
• RQ3 암묵적 형상 복원을 함께 훈련시킬 경우, 노이즈가 많거나 완전하지 않은 점군 관측치에 대한 강건성이 얼마나 향상되는가?
• RQ4 기본적인 점군 정렬 및 부품 조립 기반 모델과 비교해 NSM는 다양한 물체 종류와 절단 유형에서 얼마나 잘 일반화되는가?
• RQ5 자기지도 학습 데이터 생성 파이프라인이 일반화 가능한 형상 결합 모델 훈련에 적합한 다양한 실재성 있는 형상 쌍을 생성할 수 있는가?

주요 결과

• NSM는 다양한 물체 종류에서 다수의 점군 정렬 방법과 부품 조립 기반 모델을 능가하는 정확한 결합 자세 예측 성능을 보였다.
• 적대적 형상 사전의 포함으로 예측된 결합 구성의 타당성이 크게 향상되었으며, 정성적 및 정량적 분석을 통해 검증되었다.
• 암묵적 형상 복원과의 공동 훈련이 노이즈가 많은 점군에 대한 강건성을 향상시켰으며, 고노이즈 수준에서도 성능 향상이 관찰되었다.
• 고체, 쉘, 형상에 밀착되는 형태를 포함한 다양한 물체 종류 간에도 효과적으로 일반화되었으며, 이는 다양한 카테고리 적용 가능성을 보여준다.
• 제거 실험(ablation study) 결과 각 구성 요소의 효과성이 확인되었으며, 트랜스포머 아키텍처, 적대적 훈련, SDF 복원 모두 성능 저하를 유도하는 제거 시 성능 저하가 발생함을 입증했다.
• 자기지도 학습 데이터 생성 파이프라인이 11개 카테고리에서 20만 개의 다양한 형상 결합 쌍을 성공적으로 생성하여 인간 주석이 없는 대규모 일반화 가능한 훈련을 가능하게 하였다.