[논문 리뷰] HyperFlow: Representing 3D Objects as Surfaces

Przemysław Spurek, Maciej Zięba외 2명|arXiv (Cornell University)|2020. 06. 15.

3D Shape Modeling and Analysis참고 문헌 32인용 수 5

한 줄 요약

HyperFlow는 연속적인 표면으로 3D 객체를 표현하는 새로운 생성 모델을 제안한다. 이 모델은 연속적 정규화 흐름(CNF) 타겟 네트워크의 가중치를 생성하는 하이퍼넷워크를 사용한다. 비유한 지원을 가진 구면 로그노멀 사전 분포를 도입함으로써, PointFlow와 같은 이전 방법들보다 10배 이상 빠른 훈련 속도와 더 낮은 메모리 사용량을 바탕으로, 점군으로부터 안정적이고 고품질의 메시 재구성을 가능하게 한다.

ABSTRACT

In this work, we present HyperFlow - a novel generative model that leverages hypernetworks to create continuous 3D object representations in a form of lightweight surfaces (meshes), directly out of point clouds. Efficient object representations are essential for many computer vision applications, including robotic manipulation and autonomous driving. However, creating those representations is often cumbersome, because it requires processing unordered sets of point clouds. Therefore, it is either computationally expensive, due to additional optimization constraints such as permutation invariance, or leads to quantization losses introduced by binning point clouds into discrete voxels. Inspired by mesh-based representations of objects used in computer graphics, we postulate a fundamentally different approach and represent 3D objects as a family of surfaces. To that end, we devise a generative model that uses a hypernetwork to return the weights of a Continuous Normalizing Flows (CNF) target network. The goal of this target network is to map points from a probability distribution into a 3D mesh. To avoid numerical instability of the CNF on compact support distributions, we propose a new Spherical Log-Normal function which models density of 3D points around object surfaces mimicking noise introduced by 3D capturing devices. As a result, we obtain continuous mesh-based object representations that yield better qualitative results than competing approaches, while reducing training time by over an order of magnitude.

연구 동기 및 목표

• 이산 볼록체나 점군을 기반으로 하는 기존 3D 객체 표현 방법의 한계를 해결하기 위해.
• 자동에코더 잠재 공간에 조건을 부여하는 CNF 기반 모델(PointFlow 등)이 가지는 계산 비효율성과 높은 메모리 사용량 문제를 해결하기 위해.
• 노이즈가 있는 3D 스캐닝 장치로부터 유해하지 않은 연속적 메시 기반 3D 객체 표현을 가능하게 하기 위해.
• 정렬되지 않은 점군으로부터 직접 메시를 생성할 수 있는 생성 모델을 개발하여, 바이닝 또는 최적화 제약 조건 없이 고품질의 3D 메시를 생성하기 위해.
• 최신 기술 수준의 접근 방식과 비교해도 재구성 품질을 유지하거나 향상시키면서 훈련 시간과 메모리 사용량을 줄이기 위해.

제안 방법

• HyperFlow는 CNF 타겟 네트워크의 가중치를 생성하는 하이퍼넷워크를 사용하며, 이 네트워크는 3D 구 안에 균일한 분포를 3D 점군으로 매핑한다.
• 점군의 밀도를 표면 주변에 모델링하기 위해 비용이 없는 비유한 지원을 가진 새로운 구면 로그노멀 분포를 도입한다. 이는 CNF에 필수적인 비유한 지원을 제공한다.
• 구면 로그노멀 사전 분포는 LIDAR와 깊이 카메라에서 발생하는 정렬 노이즈를 모방하도록 설계되었으며, 3D 가우시안의 반경 분포와 일치하도록 매개변수를 유도한다.
• 메시는 삼각분할 기법을 통해 생성된다: 다양한 반경의 구 위에서 구면 로그노멀 사전 분포에서 점을 샘플링하고, 이를 삼각형으로 연결하여 표면을 형성한다.
• CNF 타겟 네트워크는 사전 분포를 관측된 점군 분포로 변환하도록 훈련되어, 연속적이고 역행 가능한 3D 기하 구조 생성이 가능해진다.
• 직접적인 점-점 매핑이 아닌 분포 표현을 학습함으로써, 순열 민감도와 변수 크기 입력 문제를 피한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 기반 아키텍처는 고품질 메시 출력을 유지하면서도 3D 생성 모델의 훈련 시간과 메모리 사용량을 줄일 수 있는가?
• RQ2 비유한 지원을 가진 구면 로그노멀 사전 분포는 점군에서 안정적이고 정확한 CNF 기반 3D 생성을 가능하게 하는가?
• RQ3 다양한 반경의 구에서 삼각분할 기법을 적용하면 연속적 흐름 기반 점군 생성에서 고품질이고 노이즈가 제거된 3D 메시를 생성할 수 있는가?
• RQ4 기본 3D 벤치마크에서 PointFlow와 HyperCloud와 비교해 본 결과, 제안된 방법은 재구성 품질과 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 실제 스캐닝 노이즈를 더 잘 모델링할 수 있는가? 구면 로그노멀 분포는 3D 객체 생성에서 표준 가우시안 사전 분포보다 실세계 스캐닝 노이즈를 더 잘 모델링할 수 있는가?

주요 결과

• HyperFlow는 자동에코더 잠재 공간에 조건을 부여하는 PointFlow와 비교해 훈련 시간과 메모리 사용량을 10배 이상 줄였다.
• 구면 로그노멀 사전 분포는 비유한 지원을 제공함으로써 CNF의 효과적인 사용을 가능하게 했으며, 표준 가우시안 사전 분포는 표면 모델링이 불안정하거나 잘못될 수 있음을 고려했다.
• 다양한 반경의 구에서 삼각분할을 통해 생성된 메시는 고품질이며 노이즈가 제거된 표현을 제공했으며, 가우시안 기반 모델보다 안정성이 향상되었다.
• 이 방법은 3D 메시 재구성에서 최신 기술 수준의 시각적 성능을 달성했으며, PointFlow와 HyperCloud 모두를 시각적 사실성 측면에서 능가했다.
• 삼각분할 단계에서 구의 반경을 조정함으로써 자동차와 같은 복잡한 3D 형상을 내부 구조(예: 조종사 휠)를 포함해 성공적으로 재구성했다.
• 구면 로그노멀 분포는 3D 등방성 가우시안의 반경 분포와 일치하도록 수학적으로 유도되었으며, 스캐닝 노이즈의 최적 모델링을 보장한다.