[논문 리뷰] PatchComplete: Learning Multi-Resolution Patch Priors for 3D Shape Completion on Unseen Categories

Yuchen Rao, Yinyu Nie외 1명|arXiv (Cornell University)|2022. 06. 10.

Image Retrieval and Classification Techniques인용 수 9

한 줄 요약

PatchComplete는 다양한 훈련 카테고리에서 다중 해상도 패치 사전을 학습하여 미리 보지 않은 물체 카테고리의 강력한 복원을 가능하게 하는 3D 형태 복원을 위한 새로운 방법을 제안한다. 부분적으로 입력된 형태와 학습된 국소 기하 사전을 교차 어텐션을 통해 정렬하고 다중 해상도 패치를 융합함으로써 최신 기술 수준의 성능을 달성하여, ShapeNet에서 Chamfer 거리 기준 19.3% 향상 및 ScanNet에서 9.0% 향상 달성.

ABSTRACT

While 3D shape representations enable powerful reasoning in many visual and perception applications, learning 3D shape priors tends to be constrained to the specific categories trained on, leading to an inefficient learning process, particularly for general applications with unseen categories. Thus, we propose PatchComplete, which learns effective shape priors based on multi-resolution local patches, which are often more general than full shapes (e.g., chairs and tables often both share legs) and thus enable geometric reasoning about unseen class categories. To learn these shared substructures, we learn multi-resolution patch priors across all train categories, which are then associated to input partial shape observations by attention across the patch priors, and finally decoded into a complete shape reconstruction. Such patch-based priors avoid overfitting to specific train categories and enable reconstruction on entirely unseen categories at test time. We demonstrate the effectiveness of our approach on synthetic ShapeNet data as well as challenging real-scanned objects from ScanNet, which include noise and clutter, improving over state of the art in novel-category shape completion by 19.3% in chamfer distance on ShapeNet, and 9.0% for ScanNet.

연구 동기 및 목표

• 제한된 훈련 데이터에서 유형 특화 사전을 학습함으로써, 새로운 카테고리로의 3D 형태 복원 일반화 문제 해결
• 기존 방법이 특정 카테고리에 과적합되어 신규 클래스에서 실패하는 한계를 극복하기 위해
• 노이즈, 혼잡함, 기하학적 불완전성 등 실제 스캔된 물체에 대해 효과적인 형태 복원을 가능하게 하기 위해
• 다양한 물체 카테고리 간 공유되는 하위 구조(예: 다리, 막대 등)를 포괄하는 일반화 가능한 국소 기하 사전을 학습하기 위해
• 신규 클래스에 대한 미세조정 또는 재학습 없이도 카테고리 간 일반화가 가능한 방법 개발하기 위해

제안 방법

• 다양한 카테고리의 훈련 형태에서 다중 해상도 패치 사전을 학습하여 공통되는 국소 하위 구조를 포착하기 위해
• 교차 어텐션 메커니즘을 사용하여 부분 입력 형태의 국소 영역과 학습된 패치 사전 간의 관련성을 설정하기 위해
• 학습 가능한 집계 모듈을 통해 다중 해상도 패치 사전을 융합하여 일관된 전반적 및 국소 형태 구조를 복원하기 위해
• 다양한 재구성 손실을 사용하여 모델을 엔드 투 엔드로 훈련하여 패치 사전 및 어텐션 가중치의 기울기 기반 최적화를 가능하게 하기 위해
• 테스트 시 미세조정 없이도 완전히 새로운 카테고리의 부분 형태에 대해 학습된 사전을 적용하여 복원하기 위해
• 최종 형태 복원을 위해 조밀한 복셀 격자 표현을 사용하고, 입력과 사전 패치 간 어텐션 기반 특징 매칭을 수행하기 위해

실험 결과

연구 질문

• RQ1 국소 패치 기반 사전가능성이 다양한 3D 물체 카테고리 간 일반화되어, 새로운 클래스에 대한 형태 복원을 가능하게 할 수 있는가?
• RQ2 다중 해상도 패치 사전 학습이 복원을 위해 미세한 구조와 거시적 기하학적 구조를 얼마나 효과적으로 포착하는가?
• RQ3 입력 부분 형태와 학습된 패치 사전 간 어텐션 기반 상관관계가 재구성 품질 향상에 얼마나 기여하는가?
• RQ4 노이즈, 혼잡함, 기하학적 불완전성 등 실제 스캔 데이터에 대해 일반화 가능한가?
• RQ5 고정된 사전(예: 훈련 데이터에서 클러스터링된 평균값)과 비교했을 때 학습 가능한 사전의 성능은 어떠한가?

주요 결과

• PatchComplete는 새로운 카테고리 형태 복원에 대해 최신 기술 수준의 방법 대비 ShapeNet에서 Chamfer 거리 기준 19.3% 향상 달성.
• 실제 스캔된 ScanNet 데이터에서는 기존 최신 기술 수준 대비 Chamfer 거리 기준 9.0% 향상하여 노이즈 및 혼잡함에 대한 강건성을 입증.
• 절단 실험 결과 어텐션 기반 패치 상관관계가 핵심임을 입증하였으며, 어 attention이 없는 변형은 ShapeNet에서 인스턴스 Chamfer 거리 기준 0.21 점수 낮은 성능 기록.
• 합성 데이터 사전 훈련이 실제 ScanNet 데이터 성능을 크게 향상시키며, 평균 Chamfer 거리 기준 7.61에서 7.38로 감소.
• 학습된 패치 사전는 고정된 사전(예: 평균 이동 클러스터링)보다 우수하며, ShapeNet에서 인스턴스 Chamfer 거리 기준 0.08 향상.
• 다양한 카테고리 분할에 대해 강건하며, 여러 훈련/신규 카테고리 구성에서도 일관된 성능 기록하여 훈련 카테고리 분포에 대한 의존도가 낮음.