[논문 리뷰] MeshNet: Mesh Neural Network for 3D Shape Representation

Yutong Feng, Yifan Feng외 3명|arXiv (Cornell University)|2018. 11. 28.

3D Shape Modeling and Analysis참고 문헌 25인용 수 6

한 줄 요약

MeshNet은 다각형 면을 단위로 간주하고 특징을 공간적 및 구조적 구성요소로 분할함으로써 메시 데이터로부터 3D 형상 표현을 직접 학습하는 새로운 신경망이다. 메시의 복잡성과 비정규성을 다루기 위해 면 수준의 컨볼루션 및 풀링 블록을 사용하며, ModelNet40에서 3D 형상 분류 및 검색 작업에서 최신 기술 수준의 성능을 달성하면서도 다양한 면 수에 대해 높은 강건성을 보인다.

ABSTRACT

Mesh is an important and powerful type of data for 3D shapes and widely studied in the field of computer vision and computer graphics. Regarding the task of 3D shape representation, there have been extensive research efforts concentrating on how to represent 3D shapes well using volumetric grid, multi-view and point cloud. However, there is little effort on using mesh data in recent years, due to the complexity and irregularity of mesh data. In this paper, we propose a mesh neural network, named MeshNet, to learn 3D shape representation from mesh data. In this method, face-unit and feature splitting are introduced, and a general architecture with available and effective blocks are proposed. In this way, MeshNet is able to solve the complexity and irregularity problem of mesh and conduct 3D shape representation well. We have applied the proposed MeshNet method in the applications of 3D shape classification and retrieval. Experimental results and comparisons with the state-of-the-art methods demonstrate that the proposed MeshNet can achieve satisfying 3D shape classification and retrieval performance, which indicates the effectiveness of the proposed method on 3D shape representation.

연구 동기 및 목표

• 메시 데이터의 복잡성과 비정규성으로 인해 3D 형상 표현을 위한 딥러닝 방법의 부족을 해결하기 위해.
• 비정규 메시 데이터를 효과적으로 처리하면서도 계산 효율성을 유지할 수 있는 신경망 아키텍처를 설계하기 위해.
• 면 특징을 공간적 및 구조적 구성요소로 분할하여 국소적 및 전반적 기하학적 특징을 향상시킬 수 있는 강건한 3D 형상 표현을 학습하기 위해.
• 3D 형상 분류 및 검색 작업을 위한 표준 벤치마크인 ModelNet40에서 방법을 평가하기 위해.
• 다양한 면 수를 가진 메시, 특히 매우 낮은 면 수를 가진 모델에 대해 모델의 강건성을 입증하기 위해.

제안 방법

• MeshNet은 다각형 면을 기본 처리 단위로 간주하여 정점 또는 엣지 기반 연산을 면 수준의 연산으로 대체함으로써 비정규성을 관리한다.
• 공간적 및 구조적 특징 기술자로 구성된 면 단위 처리를 도입함: 공간적 특징은 국소 면 기하학을 캡처하고, 구조적 특징은 이웃 관계를 모델링한다.
• 대칭 함수를 사용하여 이웃 면의 특징을 집계함으로써 순열 불변성을 유지하는 메시 컨볼루션 블록을 설계한다.
• 특징의 공간적 및 구조적 구성요소로의 분할은 네트워크가 면 표면의 국소 형상 특성과 상호 관계를 동시에 학습할 수 있도록 한다.
• 각 블록에서 특징를 처리하고 정제하기 위해 지정된 차원을 가진 다층 퍼셉트론(MLPs)을 사용하며, 분류를 위해 글로벌 평균 풀링을 적용한다.
• 면 순서에 대한 불변성을 확보하고 비정규 메시 연결성을 다루기 위해 대칭 함수(예: 최대 풀링)를 사용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 비정규 메시 데이터로부터 직접 3D 형상 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 면 단위 및 특징 분할 전략은 기존 메시 기반 기술과 비교해 성능 향상에 얼마나 기여하는가?
• RQ3 모델은 메시 해상도의 변동, 특히 낮은 면 수를 가진 모델에 대해 어느 정도 강건한가?
• RQ4 포인트 클라우드, 볼륨, 다중 시점 이미지 기반 최신 기술 수준의 방법과 비교해 MeshNet의 효율성과 정확도는 어떠한가?
• RQ5 학습된 공간적 및 구조적 특징은 3D 형상의 의미 있는 기하학적 및 위상적 특성을 잘 캡처하는가?

주요 결과

• MeshNet은 오직 메시 데이터만을 사용하여 ModelNet40에서 92.00%의 분류 정확도를 달성하여, 다른 데이터 유형을 사용하는 최신 기술 수준의 방법과 비교해도 경쟁력 있는 성능을 보였다.
• 모든 면 수 그룹에서 높은 정확도를 유지하였으며, 50개 이하의 면을 가진 9개 모델에서 100%의 정확도를 달성하여 저해상도 메시에 대한 강건성을 입증하였다.
• 포인트 기반 방법과 유사한 시간 및 공간 복잡도를 보였으며, 4.25M 파라미터와 509M FLOPs/샘플을 기록하여 볼륨 기반 방법보다 효율성이 뛰어났다.
• 특징 시각화 결과 공간적 특징이 국소 면 형상의 변동을 잘 캡처하고 있으며, 구조적 특징이 표면 유형(예: 평평한 표면 대 비스듬한 표면)과 같은 맥락 정보를 인코딩하고 있음을 확인하였다.
• 대칭 집계를 사용하는 메시 컨볼루션 블록이 이웃 정보를 효과적으로 캡처하여 다양한 3D 형상에 걸쳐 강력한 일반화 성능을 기여하였다.
• 伝통적인 메시 기반 기술인 SPH 및 구면 조화 함수보다도 유의미하게 뛰어난 성능을 보이며, 메시 데이터에서의 딥러닝의 우수성을 입증하였다.