[논문 리뷰] High-Resolution Shape Completion Using Deep Neural Networks for Global Structure and Local Geometry Inference

Xiaoguang Han, Zhen Li외 3명|arXiv (Cornell University)|2017. 09. 22.

3D Shape Modeling and Analysis참고 문헌 27인용 수 45

한 줄 요약

이 논문은 다중 시야 깊이 입력에서 완전한 형태의 구조를 추론하기 위해 3D 완전 컨volution 네트워크(3DFCN)와 LSTM 기반의 컨텍스트 융합 모듈을 갖춘 전역 구조 추론 네트워크와, 세부 표면을 패치 단위로 재구성하는 국소 기하 구조 보정 네트워크를 포함하는 이중 분지 네트워크를 사용하는 딥 러닝 프레임워크를 제안한다. 이 방법은 여섯 가지 물체 카테고리에서 최신 기술 수준의 성능을 달성하며, 의자에서는 97.25%의 완전성 점수를, 총기에서는 98.58%의 점수를 기록하여 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

We propose a data-driven method for recovering miss-ing parts of 3D shapes. Our method is based on a new deep learning architecture consisting of two sub-networks: a global structure inference network and a local geometry refinement network. The global structure inference network incorporates a long short-term memorized context fusion module (LSTM-CF) that infers the global structure of the shape based on multi-view depth information provided as part of the input. It also includes a 3D fully convolutional (3DFCN) module that further enriches the global structure representation according to volumetric information in the input. Under the guidance of the global structure network, the local geometry refinement network takes as input lo-cal 3D patches around missing regions, and progressively produces a high-resolution, complete surface through a volumetric encoder-decoder architecture. Our method jointly trains the global structure inference and local geometry refinement networks in an end-to-end manner. We perform qualitative and quantitative evaluations on six object categories, demonstrating that our method outperforms existing state-of-the-art work on shape completion.

연구 동기 및 목표

• 차폐 또는 열악한 스캐닝 조건으로 인해 큰 부족 영역이 발생하는 3D 형태의 보완 문제를 해결하기 위해.
• 큰 간극이나 딥 러닝 접근법에서의 굵은 볼륨 메시 표현에서 실패하는 전통적인 기하 기반 방법의 한계를 극복하기 위해.
• 종합적인 방식으로 전역 구조와 국소 기하 세부 정보를 동시에 학습함으로써 형태 보완 품질을 향상시키기 위해.
• 전역적 맥락과 국소적으로 정밀한 표면 보정을 조합하여 고해상도 출력을 가능하게 하기 위해.
• 대규모 3D 모델 컬렉션을 활용하여 강력한 3D 형태 사전 지식을 학습하여 견고한 보완을 가능하게 하기 위해.

제안 방법

• 이 방법은 다중 시야 깊이 입력에서 완전한 형태의 구조를 추론하기 위해 3D 완전 컨볼루션 네트워크(3DFCN)와 시야 기반 장기 단기 기억 컨텍스트 융합(LSTM-CF) 모듈을 조합한 전역 구조 추론 네트워크를 사용한다.
• 3DFCN 브랜치는 서피스 거리 함수(CSDF)와 경계 표면(BCurf) 특징을 사용하여 부피 표현을 처리하고, LSTM-CF 브랜치는 다중 시야 맥락을 인코딩하여 전역 형태 구조를 모델링한다.
• 국소 기하 구조 보정 네트워크는 3D 인코더-디코더 아키텍처를 사용하여 전역 구조 예측에 따라 고해상도 표면을 패치 단위로 재구성한다.
• 전역 및 국소 네트워크는 다중 작업 손실을 통해 종합적으로 엔드 투 엔드로 훈련되며, 전역 구조 예측을 위한 AUC 기반 손실과 국소 보정을 위한 교차 엔트로피 손실이 포함된다.
• 이 프레임워크는 먼저 완전한 형태의 전역 구조를 추론한 후, 저해상도 볼륨 입력에서 고해상도 출력으로 부족 영역을 보정함으로써 불완전한 포인트 클라우드를 처리한다.
• 이 방법은 패치 단위로 작동하며, 부족 영역의 경계에서 시작하여 세밀한 기하 구조 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 전역 형태의 구조를 동시에 추론하고 국소 기하를 보정하여 고해상도 3D 형태 보완을 달성할 수 있는가?
• RQ2 3D 완전 컨볼루션 네트워크와 LSTM 기반의 맥락 모델링의 조합이 불완전한 입력에서 전역 구조 추론에 얼마나 효과적인가?
• RQ3 전역 구조 예측에 의해 안내되는 국소 보정이 완성된 3D 형태의 품질과 타당성을 향상시키는가?
• RQ4 고해상도 깊이 이미지, CSDF 및 BSurf와 같은 다양한 입력 모odalities가 전역 구조 추론에 기여하는 정도는 어떠한가?
• RQ5 전역 가이던스가 없는 경우 국소 기하 구조 보정의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 의자 카테고리에서 97.25%의 완전성 점수와 0.00398의 정규화된 거리 값을 기록하여 이전 최신 기술 수준의 방법들보다 뚜렷이 뛰어나다.
• 총기 카테고리에서는 98.58%의 완전성과 0.00281의 정규화된 거리 값을 기록하여 복잡하고 관절이 있는 형태에서 뛰어난 성능을 보였다.
• 절단 분석 결과, LSTM 컨텍스트 모델링이나 AUC 손실을 제거할 경우 전역 네트워크의 F1 점수는 각각 0.896과 0.904로 감소하여 이들의 중요성을 입증했다.
• 전역 가이던스 없이 국소 기하 구조 보정 네트워크의 성능은 F1 점수 0.912로 떨어지며, 이는 전역 가이던스의 핵심적인 역할을 확인한다.
• 전역 네트워크에서 1x1x1 컨볼루션을 인코더-디코더 아키텍처로 대체할 경우 성능은 0.818로 떨어지며, 이는 직접적인 공간 맥락 모델링의 중요성을 시사한다.
• 동물 카테고리에서는 95.53%의 완전성과 0.00363의 정규화된 거리 값을 기록하여 다양한 물체 클래스에 걸쳐 뛰어난 일반화 능력을 보였다.