[논문 리뷰] GEOMetrics: Exploiting Geometric Structure for Graph-Encoded Objects

Edward J. Smith, Scott Fujimoto외 2명|arXiv (Cornell University)|2019. 01. 31.

3D Shape Modeling and Analysis인용 수 37

한 줄 요약

GEOMetrics는 이웃 제로의 GCN(0N-GCN), 적응형 면 분할, 이중 로컬/글로벌 손실을 도입하여 이미지에서 적응형 메시를 재구성하고, 더 적은 정점으로 ShapeNet에서 최첨단 성능을 달성한다.

ABSTRACT

Mesh models are a promising approach for encoding the structure of 3D objects. Current mesh reconstruction systems predict uniformly distributed vertex locations of a predetermined graph through a series of graph convolutions, leading to compromises with respect to performance or resolution. In this paper, we argue that the graph representation of geometric objects allows for additional structure, which should be leveraged for enhanced reconstruction. Thus, we propose a system which properly benefits from the advantages of the geometric structure of graph encoded objects by introducing (1) a graph convolutional update preserving vertex information; (2) an adaptive splitting heuristic allowing detail to emerge; and (3) a training objective operating both on the local surfaces defined by vertices as well as the global structure defined by the mesh. Our proposed method is evaluated on the task of 3D object reconstruction from images with the ShapeNet dataset, where we demonstrate state of the art performance, both visually and numerically, while having far smaller space requirements by generating adaptive meshes

연구 동기 및 목표

• 보로브 일 3D 객체 재구성을 위한 보셀과 점 구름에 대한 확장 가능한 세부 정보 적응 대안으로 메시 표현을 동기 부여한다.
• 그래프 기반 방법을 개발하여 정점 수준 정보를 보존하고 메시 재구성에서 과도한 평활화를 피한다.
• 메시 표면에서 필요 시 세부 정보를 모으는 적응형 면 분할을 도입한다.
• 지역 표면 세부 정보와 전역 메시 구조를 함께 활용하는 학습 목표를 제시한다.
• ShapeNet에서 단정점 수를 줄이고 최첨단 성능을 입증한다.

제안 방법

• 0N-GCN을 제안하여 그래프 기반 업데이트를 가능하게 하면서 정점 수준 정보를 보존한다.
• 고곡률 영역에 정점을 추가하여 지역 디테일을 방출하는 적응형 면 분할 절차를 도입한다.
• 정점 위치 대신 표면을 비교하는 미분 가능 표면 샘플링 손실을 개발하여 점-표면 및 표면-점 벌칙을 가능하게 한다.
• 메시를 메시-복셀 네트워크를 통해 인코딩하여 전역 구조를 복셀 공간 표현과 맞추는 전역 메시 손실을 사용한다.
• 위의 항목들을 최종 목표 L = γ1 L_latent + γ2 L_PtS + γ3 L_Edge + γ4 L_Δλ로 결합하되, PtP를 조기 학습 동안 더 빠른 추정치로 사용한다.

실험 결과

연구 질문

• RQ1 0N-GCN을 통한 각 정점 정보 보존이 표준 GCN 대비 메시 재구성 품질을 향상시키는가?
• RQ2 적응형 면 분할이 균일 분할보다 지역 기하학적 세부 정보를 더 잘 포착하는가?
• RQ3 미분 가능 표면 기반 손실(PtP, PtS)과 전역 잠재 손실이 실제 표면 및 전역 구조의 정렬을 개선하는가?
• RQ4 메시-복셀 잠재 인코딩이 메시 재구성에 의미 있는 전역 감독 신호를 제공하는가?
• RQ5 ShapeNet에서 GEOMetrics가 기존 메시 및 비메시 방법들과 비교하여 정확도와 정점 효율성에서 어떤 차이가 있는가?

주요 결과

Category	3D-R2N2	PSG	N3MR	Vertices (PSG/N3MR)	Pixel2Mesh	Vertices (Pixel2Mesh)	Ours	Vertices (Ours)
평면	41.46	68.20	62.10	642	71.12	2466	89.00	645.03
벤치	34.09	49.29	35.84	642	57.57	2466	72.11	514.54
캐비닛	49.88	39.93	21.04	642	60.39	2466	59.52	556.68
차	37.80	50.70	36.66	642	67.86	2466	74.64	509.33
의자	40.22	41.60	30.25	642	54.38	2466	56.61	619.13
모니터	34.38	40.53	28.77	642	51.39	2466	59.50	449.65
램프	32.35	41.40	27.97	642	48.15	2466	58.65	743.28
스피커	45.30	32.61	19.46	642	48.84	2466	49.53	550.06
화기	28.34	69.96	52.22	642	73.20	2466	88.36	638.35
소파	40.01	36.59	25.04	642	51.90	2466	59.54	561.79
테이블	43.79	53.44	28.40	642	66.30	2466	66.33	732.82
휴대폰	42.31	55.95	27.96	642	70.24	2466	73.65	416.05
수상선	37.10	51.28	43.71	642	55.12	2466	68.32	526.04
평균	39.01	48.58	33.80	642	59.72	2466	67.37	574.06

• GEOMetrics는 단일 이미지 3D 재구성에서 ShapeNet의 최첨단 성능을 달성했으며, 대부분의 클래스에서 표면 F1 점수가 더 높다.
• 평균적으로 GEOMetrics는 기초선 대비 클래스 표면 샘플링 F1 점수를 7.65포인트 증가시키면서도 정점 수는 더 적게 사용한다(평균 574.06).
• 적응형 면 분할은 비균일한 세부 정보를 가능하게 하며 Pixel2Mesh 대비 최대 4.3배까지 정점 수를 감소시키면서 세부 정보를 향상시킨다.
• 0N-GCN은 지역 정점 정보를 보존하는 데 도움을 주며 표준 GCN 및 균일한 분할 분석에서 성능 향상에 기여한다.
• 미분 가능 표면 샘플링 손실과 전역 잠재 메시-복셀 목적의 조합은 더 정확하고 전역적으로 일관된 메시 재구성을 얻는 데 기여한다.