[논문 리뷰] NormalNet: Learning-based Normal Filtering for Mesh Denoising

Wenbo Zhao, Xianming Liu외 3명|arXiv (Cornell University)|2019. 03. 10.

3D Shape Modeling and Analysis참고 문헌 27인용 수 9

한 줄 요약

NormalNet는 메시 노이즈 제거를 위한 딥러닝 기반의 정규 필터링 프레임워크를 제안하며, 기존의 가이드드 정규 필터링을 대체하여 볼록화된 국소 메시 구조를 처리하는 CNN을 사용한다. 이는 특히 날카롭고 불규칙한 노이즈 패턴(예: 톱니형, 계단형 아티팩트)을 가진 스캔 메시에서 노이즈 제거 및 특징 유지 성능이 최신 기술 수준을 초월한다.

ABSTRACT

Mesh denoising is a critical technology in geometry processing that aims to recover high-fidelity 3D mesh models of objects from their noise-corrupted versions. In this work, we propose a learning-based normal filtering scheme for mesh denoising called NormalNet, which maps the guided normal filtering (GNF) into a deep network. The scheme follows the iterative framework of filtering-based mesh denoising. During each iteration, first, the voxelization strategy is applied on each face in a mesh to transform the irregular local structure into the regular volumetric representation, therefore, both the structure and face normal information are preserved and the convolution operations in CNN(Convolutional Neural Network) can be easily performed. Second, instead of the guidance normal generation and the guided filtering in GNF, a deep CNN is designed, which takes the volumetric representation as input, and outputs the learned filtered normals. At last, the vertex positions are updated according to the filtered normals. Specifically, the iterative training framework is proposed, in which the generation of training data and the network training are alternately performed, whereas the ground truth normals are taken as the guidance normals in GNF to get the target normals. Compared to state-of-the-art works, NormalNet can effectively remove noise while preserving the original features and avoiding pseudo-features.

연구 동기 및 목표

• 스캐너 노이즈로 오염된 3D 메시의 노이즈 제거를 동시에 미세 기하학적 특징을 유지하는 데 도전한다.
• 복잡한 구조와 높은 노이즈 수준에서 어려움을 겪는 기존의 가이드드 정규 필터링 방법의 한계를 극복한다.
• 국소 메시 기하학을 규칙적인 부피 표현으로 변환함으로써 비정규 메시 데이터에 대한 효과적인 딥러닝을 가능하게 한다.
• 데이터 생성과 네트워크 학습을 번갈아 수행하는 반복적 학습 프레임워크를 개발하여 네트워크의 강건성과 일반화 능력을 향상시킨다.
• 알 수 없는 노이즈 특성(예: 톱니형, 비정규 노이즈 패턴 포함)을 가진 스캔 메시에서 뛰어난 노이즈 제거 성능을 달성한다.

제안 방법

• 메시의 각 면에 대해 볼록화를 적용하여 비정규 3D 국소 구조를 규칙적인 3D 부피 표현으로 변환함으로써 3D CNN 연산을 효율적으로 수행할 수 있도록 한다.
• 세 개의 잔차 블록, 하나의 맥스 풀링 레이어, 네 개의 완전히 연결된 레이어를 갖춘 깊은 CNN을 설계하여 볼록화된 입력에서 필터링된 면 정규 벡터를 예측한다.
• CNN을 반복적 메시 노이즈 제거 프레임워크에 통합하여 각 반복 단계에서 예측된 필터링된 정규 벡터에 기반해 정점 위치를 업데이트한다.
• 지식 기반 정규 필터링(GNF) 과정에서 진짜 정규 벡터를 지도 정규 벡터로 사용하여 목표 정규 벡터를 생성하고, 네트워크를 엔드 투 엔드로 학습하는 반복적 학습 전략을 제안한다.
• 학습 중에 진짜 정규 벡터를 감독 신호로 활용하여, 높은 노이즈 수준에서도 정확한 필터링된 정규 벡터를 생성하도록 네트워크가 학습할 수 있도록 한다.
• 볼록화와 CNN 기반 필터링을 통해 구조적 정보와 정규 정보를 모두 유지함으로써 특징 일致성과 노이즈 억제를 보장한다.

실험 결과

연구 질문

• RQ1 볼록화된 국소 기하학에 적용된 딥러닝 CNN이 3D 메시의 노이즈가 있는 면 정규 벡터를 효과적으로 필터링할 수 있는가?
• RQ2 기존의 가이드드 정규 필터링 대비 제안된 NormalNet 프레임워크는 미세 기하학적 특징을 얼마나 잘 유지하고, 가짜 특징을 피할 수 있는가?
• RQ3 반복적 학습 프레임워크는 다양한 스캔 메시 데이터에 대해 정규 필터링 네트워크의 강건성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 실생활 스캔 메시에서 흔히 발생하는 톱니형 및 계단형 아티팩트와 같은 도전적인 노이즈 유형을 효과적으로 처리할 수 있는가?
• RQ5 볼록화 기반 표현은 비정규 메시 데이터에 대해 효과적인 3D CNN 처리를 가능하게 하며 기하학적 정밀도를 유지할 수 있는가?

주요 결과

• NormalNet는 GNF, GGNF, CNR와 같은 최신 기술 수준의 방법보다 날카로운 에지와 소규모 특징을 더 잘 유지하며, 특히 복잡한 노이즈를 가진 스캔 메시에서 뛰어난 성능을 보인다.
• 톱니형 노이즈가 있는 스캔 모델 Pierrot에서, GNF와 GGNF는 신뢰할 수 없는 지도 정규 벡터 추정으로 인해 가짜 특징을 유발하지만 NormalNet는 이를 피한다.
• Rocketarm 및 Angel 모델에서, CNR는 노이즈 복잡도가 높은 영역에서 에지를 과도하게 부드럽게 처리하여 가짜 특징을 더 많이 생성하지만, NormalNet는 이를 더 잘 방지한다.
• 레이저 스캔 모델(Eagle, Gargoyle, BallJoint)에서의 비교 결과, NormalNet는 VT보다 더 나은 특징 복구 성능을 보이며 고품질이지만 복잡한 스캔 데이터에서도 강건함을 입증한다.
• Microsoft Kinect V1/V2로 생성된 모델에서 Cone04V1에 대해 NormalNet는 다른 방법들이 효과적으로 노이즈를 제거하지 못하는 상황에서도 최고의 스무딩 결과를 달성한다.
• 정량적 평가 결과, NormalNet는 모든 방법 중에서 진짜 값에 가장 가까운 에지 길이를 기록하여 기하학적 정밀도 유지 능력이 뛰어나다는 것을 입증한다.