[논문 리뷰] Generative 3D Part Assembly via Dynamic Graph Learning

Jialei Huang, Guanqi Zhan외 6명|arXiv (Cornell University)|2020. 06. 14.

3D Shape Modeling and Analysis참고 문헌 40인용 수 46

한 줄 요약

이 논문은 반복 GNN과 동적 관계 추론 및 부분 집계를 활용하여 입력 3D 부품의 6-DoF 포즈를 예측하는 어셈블리 지향 동적 그래프 학습 프레임워크를 제안하며, PartNet 의 의자, 탁자, 램프에 대해 최첨단 성능을 보인다.

ABSTRACT

Autonomous part assembly is a challenging yet crucial task in 3D computer vision and robotics. Analogous to buying an IKEA furniture, given a set of 3D parts that can assemble a single shape, an intelligent agent needs to perceive the 3D part geometry, reason to propose pose estimations for the input parts, and finally call robotic planning and control routines for actuation. In this paper, we focus on the pose estimation subproblem from the vision side involving geometric and relational reasoning over the input part geometry. Essentially, the task of generative 3D part assembly is to predict a 6-DoF part pose, including a rigid rotation and translation, for each input part that assembles a single 3D shape as the final output. To tackle this problem, we propose an assembly-oriented dynamic graph learning framework that leverages an iterative graph neural network as a backbone. It explicitly conducts sequential part assembly refinements in a coarse-to-fine manner, exploits a pair of part relation reasoning module and part aggregation module for dynamically adjusting both part features and their relations in the part graph. We conduct extensive experiments and quantitative comparisons to three strong baseline methods, demonstrating the effectiveness of the proposed approach.

연구 동기 및 목표

• _semantic priors 없이 입력 부품 기하학에서 각 부품의 6-DoF 포즈를 예측하여 자율 3D 부품 어셈블리를 촉진한다._
• 부품 특성과 관계를 거쳐 거칠게부터 미세한 포즈 보정을 위해 진화하는 어셈블리 지향의 동적 그래프 프레임워크를 개발한다.
• 동적 관계 추론 및 동적 부품 집계를 활용하여 포즈 추정 및 최종 형상 연결성을 개선한다.
• 합성 PartNet 데이터를 평가하고 강력한 baselines와 비교하여 효과를 입증한다.

제안 방법

• 각 반복마다 부품을 완전 연결된 동적 그래프의 노드로 표현한다.
• 포인트 클라우드에서 얻은 포인트넷 기반 특징으로 각 부품을 초기 노드 특징으로 인코딩한다.
• 포즈를 refine하기 위해 시간에 따라 변하는 엣지 및 노드 업데이트를 갖는 그래프 메시지 전달을 5회 수행한다.
• 현재 포즈 추정치를 바탕으로 메시지 전달을 조절하기 위해 방향성 엣지 가중치 r_ij를 학습하는 동적 관계 추론 모듈을 도입한다.
• 공유 정보를 전파하고 다시 밀집 노드로 풀링하기 위해 기하학적으로 동등한 부품들을 희소 노드로 그룹화하는 동적 부품 집계 모듈을 도입한다.
• Chamfer 기반 손실을 통해 부분별 회전/병진 및 전체 형태의 감독을 하는 다중 출력에 대한 Min-of-N (MoN) 손실로 학습한다.
• 강력한 학습 및 평가를 위한 PartNet 데이터(의자, 탁자, 램프)와 합성된 부분 포즈를 사용한다.

실험 결과

연구 질문

• RQ1 구성 지향의 동적 그래프 모델이 의미 priors 없이도 다부의 3D 모양에 대해 일관된 순차 포즈 보정 학습이 가능할까?
• RQ2 동적 관계 추론 및 동적 부품 집계가 정적 또는 비그래프 기반 baselines에 비해 어셈블된 형태의 정확도와 연결성을 개선하는가?
• RQ3 PartNet 데이터셋의 가구 유사한 형태에서 아주 세부적인 부품들 간의 성능은 어떠한가?
• RQ4 어셈블리 중 중앙 부품과 주변 부품의 반복 보정 다이나믹에 대한 통찰은 무엇인가?

주요 결과

Shape CD (Chair)	Shape CD (Table)	Shape CD (Lamp)	Part Accuracy (Chair)	Part Accuracy (Table)	Part Accuracy (Lamp)	Connectivity Accuracy (Chair)	Connectivity Accuracy (Table)	Connectivity Accuracy (Lamp)
0.0091	0.0050	0.0093	39.00	49.51	33.33	23.87	39.96	41.70
0.0131	0.0125	0.0077	21.77	28.64	20.78	6.80	22.56	14.05
0.0241	0.0298	0.0150	8.78	2.32	12.67	9.19	15.57	26.56
0.0146	0.0112	0.0079	15.7	15.37	22.61	9.90	33.84	18.60

• 제안된 방법은 Shape Chamfer Distance, Part Accuracy, Connectivity Accuracy에서 Chair/Table/Lamp 범주 전반에 대해 세 가지 강력한 Baseline을 능가한다.
• 중심 부품(예: 의자 등받이/의자 시트)은 포즈 추정이 먼저 이루어지고 이후 반복에서 주변 부품(다리/팔)들을 인도한다는 것이 동적 관계 가중치로 보인다.
• 동적 관계 추론과 동적 부품 집계 각각이 성능에 기여하며 제거 시 뚜렷한 감소를 보인다.
• 전체 모델이 최상의 결과를 달성: Shape CD 0.0050, Part Accuracy 49.51 (Chair), 33.33 (Lamp/Table), Connectivity 39.96 (Chair), 41.70 (Lamp).
• 아블레이션 연구는 5 GNN 반복이 정확도와 학습 가능성의 균형을 잘 제공하며, 더 많은 반복은 수익이 감소하는 경향이 있다.