[논문 리뷰] NormalNet: Learning based Guided Normal Filtering for Mesh Denoising.

Wenbo Zhao, Xianming Liu외 3명|arXiv (Cornell University)|2019. 03. 10.

3D Shape Modeling and Analysis참고 문헌 39인용 수 11

한 줄 요약

NormalNet는 실제 데이터가 제한되어 있는 문제를 극복하기 위해 반복적인 데이터 생성 프레임워크를 사용하여 3D 메시 노이즈 제거를 위한 딥러닝 기반의 얼굴 정규 벡터 필터링 방법을 제안한다. 이는 볼록화된 국소 메시 구조에서 효과적인 CNN 훈련을 가능하게 하며, 상태최고 수준의 방법들보다 높은 정밀도의 노이즈 제거 성능을 달성하면서도 특징을 잘 유지하고 가짜 특징을 줄인다.

ABSTRACT

Mesh denoising is a critical technology in geometry processing, which aims to recover high-fidelity 3D mesh models of objects from noise-corrupted versions. In this work, we propose a deep learning based face normal filtering scheme for mesh denoising, called extit{NormalNet}. Different from natural images, for mesh, it is difficult to collect enough examples to build a robust end-to-end training scheme for deep networks. To remedy this problem, we propose an iterative framework to generate enough face-normal pairs, based on which a convolutional neural networks (CNNs) based scheme is designed for guidance normal learning. Moreover, to facilitate the 3D convolution operation in CNNs, for each face in mesh, we propose a voxelization strategy to transform irregular local mesh structure into regular 4D-array form. Finally, guided normal filtering is performed to obtain filtered face normals, according to which denoised positions of vertices are derived. Compared to the state-of-the-art works, the proposed scheme can generate accurate guidance normals and remove noise effectively while preserving original features and avoiding pseudo-features.

연구 동기 및 목표

• 메시 노이즈 제거에서 깊이 학습 네트워크 훈련을 위한 실제 노이즈-클리어 메시 쌍의 제한된 데이터 문제를 해결한다.
• 강건한 CNN 훈련을 위한 충분한 면정규 벡터 쌍을 생성하기 위한 데이터 증강 전략을 개발한다.
• 새로운 볼록화 기법을 통해 비정규 메시 면에 대한 효과적인 3D 컨볼루션 연산을 가능하게 한다.
• 기하학적 특징을 유지하면서 잡음 없이 아티팩트를 유도하지 않는 정확한 가이드드 정규 벡터를 학습함으로써 노이즈 제거 성능을 향상시킨다.
• 향상된 특징 정밀도와 감소된 가짜 특징을 보이며, 메시 노이즈 제거 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 청결한 메시에서 노이즈를 재현하는 방식으로 실제적인 면정규 벡터 쌍을 반복적으로 생성함으로써 훈련 데이터를 확장하는 프레임워크를 제안한다.
• 비정규 국소 메시 주변부를 3D CNN 처리에 적합한 정규 4차원 배열로 변환할 수 있는 볼록화 전략을 설계한다.
• 생성된 합성 데이터를 사용하여 노이즈 입력에서 정밀한 면정규 벡터를 예측하는 CNN 기반 가이드 네트워크를 훈련시킨다.
• 예측된 정규 벡터를 사용한 가이드드 정규 벡터 필터링을 적용하여 원본 메시 기하학을 유지하면서 노이즈 제거된 정점 위치를 계산한다.
• 학습된 정규 벡터 필터링을 메시 노이즈 제거 파이프라인에 통합하여 날카운 특징을 유지하고 잘못된 가장자리를 방지한다.
• 국소 메시 구조의 변동성에 대해 3D CNN의 불변성을 활용하기 위해 국소 기하학을 체계적인 볼록화 표현으로 변환한다.

실험 결과

연구 질문

• RQ1 반복적인 데이터 생성 프레임워크가 메시 노이즈 제거를 위한 깊이 학습 네트워크 훈련을 위해 실제적인 노이즈-클리어 면정규 벡터 쌍을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 국소 메시 주변부의 볼록화가 정규 벡터 예측을 위한 CNN에서 효과적인 3D 컨볼루션 연산을 어떻게 가능하게 하는가?
• RQ3 CNN 기반 가이드 네트워크가 전통적 방법에 비해 정규 벡터 필터링 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 노이즈 제거 과정에서 미세한 기하학적 세부 정보를 유지하고 가짜 특징을 유도하지 않는가?
• RQ5 기존의 최신 기술 수준의 메시 노이즈 제거 기법들과 비교해 NormalNet의 성능과 특징 정밀도는 어떠한가?

주요 결과

• 반복적인 데이터 생성 프레임워크는 다양한 실제적인 면정규 벡터 쌍을 성공적으로 생성하여, 실제 데이터가 제한된 상황에서도 강건한 CNN 훈련을 가능하게 했다.
• 볼록화 전략은 비정규 국소 메시 구조를 정규 4차원 배열로 효과적으로 변환하여 효율적인 3D CNN 처리를 가능하게 했다.
• CNN 기반 가이드 네트워크는 기하학적 구조에 잘 맞는 정확하고 부드러운 면정규 벡터를 학습하여 예측했다.
• 예측된 정규 벡터를 사용한 가이드드 정규 벡터 필터링은 원본 특징을 잘 유지하는 고품질의 정점 위치 업데이트를 가능하게 했다.
• 가짜 특징의 유도를 최소화하면서도 노이즈 제거 정확도에서 최신 기술 수준의 방법들을 능가하는 성능을 달성했다.
• 복잡하고 노이즈가 많은 메시 모델에서도 기하학적 정밀도와 원래 특징의 날카움을 유지하는 데 성공했다.