[논문 리뷰] COALESCE: Component Assembly by Learning to Synthesize Connections

Kangxue Yin, Zhiqin Chen외 4명|arXiv (Cornell University)|2020. 08. 05.

3D Shape Modeling and Analysis참고 문헌 57인용 수 6

한 줄 요약

COALESCE는 기하학적 및 위상적 불일치가 있는 부품 간에 자연스럽고 위상적으로 일관된 결합을 학습하여 3D 형상 조립을 위한 데이터 기반 딥러닝 프레임워크를 제안한다. 기하학적 및 위상적 불일치를 해결하기 위해 입력 부품을 침식하고, 접합부 합성 네트워크를 사용해 암묵적 표면 필드를 예측함으로써 COALESCE는 정밀하고 고해상도의 메쉬 조립을 생성하며, 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

We introduce COALESCE, the first data-driven framework for component-based shape assembly which employs deep learning to synthesize part connections. To handle geometric and topological mismatches between parts, we remove the mismatched portions via erosion, and rely on a joint synthesis step, which is learned from data, to fill the gap and arrive at a natural and plausible part joint. Given a set of input parts extracted from different objects, COALESCE automatically aligns them and synthesizes plausible joints to connect the parts into a coherent 3D object represented by a mesh. The joint synthesis network, designed to focus on joint regions, reconstructs the surface between the parts by predicting an implicit shape representation that agrees with existing parts, while generating a smooth and topologically meaningful connection. We employ test-time optimization to further ensure that the synthesized joint region closely aligns with the input parts to create realistic component assemblies from diverse input parts. We demonstrate that our method significantly outperforms prior approaches including baseline deep models for 3D shape synthesis, as well as state-of-the-art methods for shape completion.

연구 동기 및 목표

• 기하학적 및 위상적 불일치를 보이는 서로 다른 객체의 3D 부품을 원활하게 연결하는 데 도전하는 것.
• 컴ponent 기반 3D 모델링에서 낮은 수준의 반복적 작업인 부품 정렬 및 접합부 합성 자동화하는 것.
• 히우리스틱 또는 사용자 가이드 스티칭에 의존하지 않고 다양한 부품 구성 및 형상에 대해 일반화할 수 있는 학습 기반 방법 개발하는 것.
• 전체 형상 복원 또는 구멍 메꾸기 방법과 달리, 형상 복원이 아닌 접합부 합성에 집중함으로써 기존 방법을 향상시키는 것.
• 엔드 투 엔드 신경망 합성 기반으로 관련이 없는 부품들로부터 새로운 일관된 3D 객체를 생성하는 것.

제안 방법

• 입력 부품은 접합부 합성을 위해 불일치 영역을 제거하기 위해 침식을 통해 사전 처리된다.
• 부품 정렬 네트워크는 부품을 타당한 구성으로 정렬하는 변환을 예측한다.
• 접합부 합성 네트워크는 정렬된 부품 간 연결 영역에 대한 암묵적 부호 거리 필드(SDF) 표현을 예측한다.
• 입력 부품과의 일관성을 확보하기 위해 PointNet++ 인코더에서 유도된 잠재 코드를 사용한 U-Net 유사 디코더를 활용해 암묵적 필드를 생성한다.
• 암묵적 필드는 메쉬로 다각형화되고, 포isson 스티칭이 적용되어 합성된 접합부를 입력 부품과 부드럽게 융합한다.
• 프레임워크는 ShapeNet의 분할된 3D 형상 데이터셋에서 훈련되며, 접합부 기하학적 및 위상적 특성에 대한 지도 학습이 이루어진다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 기하학적 및 위상적 불일치가 있는 3D 부품 간에 타당하고 위상적으로 의미 있는 접합부를 학습하여 합성할 수 있는가?
• RQ2 전체 형상 복원 또는 구멍 메꾸기 베이스라인과 비교할 때 접합부 합성 접근법은 품질과 강건성 측면에서 어떻게 다른가?
• RQ3 한 카테고리에서 훈련된 모델이 새로운 부품 구성이나 새로운 데이터셋으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 침식 기반 사전 처리가 부품 정렬 불일치 및 경계 불일치를 다루는 데 얼마나 효과적인가?
• RQ5 잠재 코드 연결 및 암묵적 필드 모델링과 같은 아키텍처 선택이 접합부 합성 성능에 미치는 영향은 무엇인가?

주요 결과

• COALESCE는 정성적 및 정량적 평가에서 모두 기존 딥러닝 기반 3D 형상 합성 모델과 최신 형상 복원 방법을 뛰어넘는 성능을 보였다.
• 모델은 입력 부품의 무작위 스케일링 및 이동에 대해 강건성을 보이며, 이러한 변형에 대한 모든 평가 기준에서 최상의 성능을 기록했다.
• 재학습 없이도 COSEG 체어 데이터셋으로의 일반화가 가능했으며, 이는 모델이 훈련 분포를 초월해 일반화 가능한 접합 패턴을 학습했음을 시사한다.
• 결합부가 없는 부품(예: 팔이 없는 의자, 손잡이가 없는 경우)과 같은 새로운 구성에 대해서도 잠재 코드를 0 벡터로 설정함으로써 접합부를 합성할 수 있었다.
• 기하학적 또는 위상적 불일치가 모델의 능력을 초월할 경우 실패 케이스가 발생하며, 특히 얇은 복잡한 구조나 심한 정렬 오차에서 두드러진다.
• 모델 성능은 PointNet++ 인코더와 IM-디코더의 능력에 의해 제한되며, 특히 미세한 수준의 부품이나 부품 수가 증가할 경우 두드러진다.