[논문 리뷰] Convolutional Neural Networks on non-uniform geometrical signals using Euclidean spectral transformation

Chiyu Max Jiang, Dequan Wang외 3명|arXiv (Cornell University)|2019. 01. 07.

3D Shape Modeling and Analysis참고 문헌 51인용 수 8

한 줄 요약

이 논문은 비균일 기하 신호(예: 점군, 메시, 가중 표면)를 유클리드 스펙트럼 도메인에서 직접 처리할 수 있도록 허용하는 새로운 스펙트럼 표현을 제안한다. 비균일 푸리에 변환(NUFT)을 사용하여 공간 앨리어싱 없이 균일한 스펙트럼 격자에 신호를 해석적으로 샘플링함으로써 최대한의 형태 정보를 유지하고, 표준 컨volution 신경망(CNN) 백본의 사용을 가능하게 하며, 3D 형태 검색 및 점군에서 표면으로의 재구성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks (CNN) have been successful in processing data signals that are uniformly sampled in the spatial domain (e.g., images). However, most data signals do not natively exist on a grid, and in the process of being sampled onto a uniform physical grid suffer significant aliasing error and information loss. Moreover, signals can exist in different topological structures as, for example, points, lines, surfaces and volumes. It has been challenging to analyze signals with mixed topologies (for example, point cloud with surface mesh). To this end, we develop mathematical formulations for Non-Uniform Fourier Transforms (NUFT) to directly, and optimally, sample nonuniform data signals of different topologies defined on a simplex mesh into the spectral domain with no spatial sampling error. The spectral transform is performed in the Euclidean space, which removes the translation ambiguity from works on the graph spectrum. Our representation has four distinct advantages: (1) the process causes no spatial sampling error during the initial sampling, (2) the generality of this approach provides a unified framework for using CNNs to analyze signals of mixed topologies, (3) it allows us to leverage state-of-the-art backbone CNN architectures for effective learning without having to design a particular architecture for a particular data structure in an ad-hoc fashion, and (4) the representation allows weighted meshes where each element has a different weight (i.e., texture) indicating local properties. We achieve results on par with the state-of-the-art for the 3D shape retrieval task, and a new state-of-the-art for the point cloud to surface reconstruction task.

연구 동기 및 목표

• 점군이나 메시와 같은 비균일, 혼합 토폴로지 기하 신호에 CNN을 적용하는 데 도전하는 문제를 해결한다.
• 박막, 다중시점 또는 SDF 기반 방법에서 균일한 샘플링으로 인한 표현 오차와 앨리어징, 정보 손실을 해결한다.
• 유클리드 공간 내에서 스펙트럼 변환을 사용하여 다양한 토폴로지(점, 선, 표면, 부피)의 신호 처리를 통합하는 일반적인 프레임워크를 개발한다.
• 아ーソ메트릭 구조를 재설계하지 않고도 강력한 사전 훈련된 유클리드 CNN 백본(예: ResNet, DLA)을 임의의 기하 신호에 직접 사용할 수 있도록 한다.
• 각 요소가 텍스처나 스칼라 속성을 지닌 가중 메시를 지원하여 더 rich한 신호 표현을 가능하게 한다.

제안 방법

• 단순형 메시(예: 삼각형 또는 테트라헤드럴 메시)에 정의된 신호를 위한 비균일 푸리에 변환(NUFT)을 수립하여 공간 샘플링 오차 없이 정확한 스펙트럼 샘플링을 가능하게 한다.
• 유클리드 공간에서 스펙트럼 변환을 수행하여 그래프 스펙트럼 방법에서 발생하는 번역 모호성을 피하고 표준 CNN의 직접 사용을 가능하게 한다.
• 해석적 적분을 사용하여 비균일 메시 위의 신호 푸리에 변환을 계산함으로써 정밀도를 확보하고 격자 기반 샘플링에서 발생하는 앨리어징을 제거한다.
• 입력 신호(예: 점군)와 출력 신호(예: 표면)를 $128^3$ 스펙트럼 격자 내에서 NUFT 표현으로 표현하여 3D 이미지 간 번역을 가능하게 한다.
• U-Net과 같은 표준 CNN 아키텍처를 사용하여 엔드 투 엔드 학습을 수행하고, 예측된 값과 진짜 값 간의 $L_2$ 손실을 사용하여 훈련한다.
• 재구성된 표면의 정밀도를 향상시키기 위해 마치징 큐브와 메시 압축을 후처리로 적용한다.

실험 결과

연구 질문

• RQ1 공간 샘플링 오차 없이 CNN이 비균일 기하 신호를 처리할 수 있도록 하는 스펙트럼 표현을 개발할 수 있는가?
• RQ2 단일 스펙트럼 변환을 사용하여 다양한 토폴로지(예: 점, 표면, 부피)의 신호를 통합적으로 처리할 수 있는 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 새로운 스펙트럼 표현을 통해 표준 사전 훈련된 CNN 백본을 3D 기하 딥러닝에서 얼마나 효과적으로 재사용할 수 있는가?
• RQ4 특히 노이즈가 있는 입력 조건에서도 점군에서 표면으로의 재구성과 같은 도전적인 작업에서 제안된 방법이 뛰어난 성능을 낼 수 있는가?
• RQ5 伝통적인 박막, SDF, 다중시점 표현에 비해 NUFT 기반 표현은 정보 보존과 재구성 정확도 측면에서 어떻게 비교되는가?

주요 결과

• NUFT 표현은 사전 훈련되지 않은 모델 중에서 3D 형태 검색에서 최신 기술 수준의 성능을 달성했으며, ShapeNetCore 데이터셋에서 기존 방법들을 능가한다.
• 점군에서 표면으로의 재구성 작업에서, 노이즈가 있는 경우 0.144, 없는 경우 0.145의 캐멀러 디스턴스를 기록하여 Deep Marching Cubes(0.218)와 Poisson Surface Reconstruction(0.198–0.352)를 능가한다.
• 재구성 정확도 0.125와 완전성 0.165를 달성하여 PSR-8(0.196 및 0.200)과 DMC(0.182 및 0.254)를 크게 능가한다.
• 제어된 추상화 연구를 통해 이중 박막 및 SDF 표현보다 NUFT 표현이 더 많은 형태 정보를 유지하는 것으로 확인되었다.
• 입력 노이즈에 대해 뛰어난 강건성을 보이며, 32해상도에서 표준 편차 σ = 0.15 박막 길이의 가우시안 노이즈 조건에서도 높은 재구성 품질을 유지한다.
• 표준 U-Net과 $L_2$ 손실을 사용하여 효과적인 3D 이미지 간 번역을 가능하게 하여 2D 스타일의 딥러닝 기법을 3D 기하 신호에 적용할 수 있음을 입증한다.