[논문 리뷰] Parsing Geometry Using Structure-Aware Shape Templates

Vignesh Ganapathi‐Subramanian, Olga Diamanti외 4명|arXiv (Cornell University)|2018. 08. 03.

3D Shape Modeling and Analysis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 상용 RGB-D 센서에서 유입되는 부분적, 노이즈가 많은, 구조가 없는 3D 스캔에서 물체의 구조를 추론하기 위해 수작업으로 제작한 파arameterized 박스 기반 템플릿을 사용하는 구조 인식형 형태 템플릿 프레임워크를 제안한다. 부분 스캔을 템플릿에 매칭시키기 위해 딥 뉴럴 네트워크를 훈련시킴으로써, 이 방법은 외부 감독 없이도 정확한 부품 레이블링, 완전한 메시 재구성, 장면 완성에 성공하며, 기존 최고 수준의 방법들보다 정밀도와 의미 일관성에서 뛰어나다.

ABSTRACT

Real-life man-made objects often exhibit strong and easily-identifiable structure, as a direct result of their design or their intended functionality. Structure typically appears in the form of individual parts and their arrangement. Knowing about object structure can be an important cue for object recognition and scene understanding - a key goal for various AR and robotics applications. However, commodity RGB-D sensors used in these scenarios only produce raw, unorganized point clouds, without structural information about the captured scene. Moreover, the generated data is commonly partial and susceptible to artifacts and noise, which makes inferring the structure of scanned objects challenging. In this paper, we organize large shape collections into parameterized shape templates to capture the underlying structure of the objects. The templates allow us to transfer the structural information onto new objects and incomplete scans. We employ a deep neural network that matches the partial scan with one of the shape templates, then match and fit it to complete and detailed models from the collection. This allows us to faithfully label its parts and to guide the reconstruction of the scanned object. We showcase the effectiveness of our method by comparing it to other state-of-the-art approaches.

연구 동기 및 목표

• 일반적인 RGB-D 센서에서 유입되는 부분적, 노이즈가 많고 구조가 없는 3D 스캔에서 구조적 조직을 추론하는 과제를 해결하기 위해.
• 대규모 형태 컬렉션에서 유도된 구조적 사전 지식을 활용해, 불완전한 스캔에서 강력한 물체 인식과 의미적 부품 레이블링을 가능하게 하기 위해.
• 템플릿 기반 피팅과 형태 검색을 통해 부분 스캔에서 완전하고 세밀한 CAD 수준의 메시를 재구성하기 위해.
• 외부 감독 없이도 부품 레이블링을 수행할 수 있는 경량이며 일반화 능력이 뛰어난 파이프라인을 제공하여 AR, 로봇공학, 장면 모델링 응용 분야에 활용하기 위해.

제안 방법

• 이 방법은 체계적인 패턴을 표현하기 위해 축에 수직인 상자로 구성된 수작업으로 제작된 파arameterized 형태 템플릿 라이브러리를 구성한다. 이는 의자, 테이블 등의 물체 카테고리에 해당한다.
• 기하학적 특징과 공간적 레이아웃을 기반으로 부분 스캔를 가장 유사한 구조적 템플릿에 감지하고 매칭시키기 위해 딥 뉴럴 네트워크를 훈련시킨다.
• 가장 적합한 템플릿은 최신 비정적 정렬 기법을 통해 최적화되어 입력 스캔와 정렬되며, 이 과정에서 구조적 및 의미적 정보가 전달된다.
• 각 스캔 포인트는 최소 거리 기반으로 피팅된 템플릿 내 가장 가까운 상자에 투영되어 의미적 부품 레이블이 할당된다.
• 완전하고 고정밀도의 메시는 컬렉션에서 해당하는 전체 형태를 검색하고, 피팅된 템플릿 및 스캔 기하학과 일치하도록 변형시켜 복원한다.
• 파이프라인은 구조적 템플릿을 기반으로 부분 스캔를 전체 메시 모델로 대체함으로써 엔드 투 엔드 장면 완성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수작업으로 제작된 추상적 형태 템플릿이 대규모 형태 컬렉션에서 유도된 구조 지식을 알려지지 않은 부분 스캔에 효과적으로 전달할 수 있는가?
• RQ2 밀도 높은 감독 없이도 딥 뉴럴 네트워크가 부분 스캔를 구조적 템플릿에 정확하게 감지하고 매칭시킬 수 있는가?
• RQ3 템플릿 기반 피팅이 약한 감독 또는 엔드 투 엔드 방법에 비해 불완전한 3D 스캔에서 의미적 부품 레이블링 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 기하학적 및 구조적 정밀도를 유지하면서 부분 스캔에서 완전하고 세밀한 CAD 수준의 메시를 재구성할 수 있는가?

주요 결과

• 외부 감독 없이도 5개의 형태 카테고리에서 뛰어난 부품 레이블링 정확도를 달성하였으며, 훈련에 70%의 레이블 데이터를 사용하는 기존 방법들보다도 뛰어난 성능을 보였다.
• 정성적 비교 결과, 템플릿 기반 접근 방식은 개별 상자 피팅(Sung et al.)이나 뭉툭한 형태의 엔드 투 엔드 완성(Dai et al.)에 비해 더 현실적이고 구조적으로 일관된 부품 레이아웃을 생성하였다.
• 피팅된 템플릿은 각 포인트를 투영 거리 기반으로 가장 가까운 상자에 할당함으로써 정확한 의미적 부품 레이블링을 가능하게 하였으며, 지표 데이터에 높은 일致성을 보였다.
• 파이프라인은 부분 스캔를 완전하고 메시화된 CAD 모델로 대체하는 데 성공하였으며, 이는 그림 10에서 확인할 수 있었고, AR 및 장면 편집 워크플로우에서 직접 활용 가능했다.
• 의자 피팅을 위해 특수하게 훈련된 네트워크(Tulsiani et al.)와 비교해도, 강제로 템플릿 제약 조건을 적용함으로써 더 정확하고 구조적으로 타당한 완성 결과를 도출하였다.