[논문 리뷰] LaplacianNet: Learning on 3D Meshes with Laplacian Encoding and Pooling

Yi-Ling Qiao, Lin Gao외 4명|arXiv (Cornell University)|2019. 10. 30.

3D Shape Modeling and Analysis참고 문헌 42인용 수 10

한 줄 요약

LaplacianNet는 3D 메시 처리를 위한 딥러닝 프레임워크로, 다중 척도 메시 풀링을 위해 라플라시안 스펙트럴 클러스터링을 사용하고, 클러스터 간 전역 특징을 융합하기 위해 상관관계 네트워크(Correlation Net)를 활용한다. 메시 토폴로지의 강건한 인코딩을 통해 다양한 트라이앵귤레이션과 등장변형에 대해 저항력을 가지며, ShapeNet과 COSEG에서 형태 분류 및 파트 분할 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

3D models are commonly used in computer vision and graphics. With the wider availability of mesh data, an efficient and intrinsic deep learning approach to processing 3D meshes is in great need. Unlike images, 3D meshes have irregular connectivity, requiring careful design to capture relations in the data. To utilize the topology information while staying robust under different triangulation, we propose to encode mesh connectivity using Laplacian spectral analysis, along with Mesh Pooling Blocks (MPBs) that can split the surface domain into local pooling patches and aggregate global information among them. We build a mesh hierarchy from fine to coarse using Laplacian spectral clustering, which is flexible under isometric transformation. Inside the MPBs there are pooling layers to collect local information and multi-layer perceptrons to compute vertex features with increasing complexity. To obtain the relationships among different clusters, we introduce a Correlation Net to compute a correlation matrix, which can aggregate the features globally by matrix multiplication with cluster features. Our network architecture is flexible enough to be used on meshes with different numbers of vertices. We conduct several experiments including shape segmentation and classification, and our LaplacianNet outperforms state-of-the-art algorithms for these tasks on ShapeNet and COSEG datasets.

연구 동기 및 목표

• 비정규 3D 메시의 위상적 및 기하학적 구조를 효과적으로 포착할 수 있는 딥러닝 프레임워크를 개발하는 것.
• 메시 기반 학습에서 흔히 발생하는 다양한 메시 트라이앵귤레이션과 등장변형에 대해 강건성을 확보하는 것.
• 모델 간 정점 수가 다를 경우에도 유연하게 작동하는 계층적 메시 처리 아키텍처를 설계하는 것.
• 스펙트럴 분석과 공간 풀링, 전역 특징 상관관계를 통합하여 메시에서 엔드 투 엔드 학습을 가능하게 하는 것.
• 표준 벤치마크에서 기존 방법들을 능가하는 3D 메시 분류 및 파트 분할 과제 성능을 달성하는 것.

제안 방법

• 메시 표면을 국소 풀링 패치로 분할하기 위해 라플라시안 스펙트럴 클러스터링을 사용하여 다중 척도 표현 학습을 가능하게 한다.
• 메시 풀링 블록(Mesh Pooling Blocks, MPBs)은 다층 퍼셉트론을 통해 정점 특징을 처리하고, 클러스터 내 특징을 집계하기 위해 국소 최대 풀링을 수행한다.
• 공유된 벡터 공간으로 클러스터를 매핑하고 내적을 계산하여, 클러스터 간 가중치 학습 가능한 상관관계 행렬을 계산하는 Correlation Net을 활용한다.
• 상관관계 행렬을 통해 행렬 곱셈을 이용한 전역 특징 융합을 가능하게 하여 메시 전반에 걸친 장거리 의존성을 모델링할 수 있다.
• 분류 및 분할 작업을 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습되며, 입력 특징은 원시 메시 기하학에서 유도된다.
• 학습 전에 메시를 수증기 없는, 만골드 토폴로지로 전처리하고, 가장 가까운 이웃 매칭을 통해 점군에서 파트 레이블을 전달한다.

실험 결과

연구 질문

• RQ1 메시 라플라시안 특징의 스펙트럴 클러스터링이 다양한 트라이앵귤레이션에서 등장변형 불변성과 함께 강건한 메시 풀링을 가능하게 할 수 있는가?
• RQ2 정점 및 클러스터 순서가 임의인 비유클리드 메시 데이터에서 전역적 맥락을 효과적으로 포착할 수 있는가?
• RQ3 메시 클러스터 간의 학습 가능한 상관관계 메커니즘이 메시 학습에서 표준 풀링 또는 어텐션 메커니즘을 능가할 수 있는가?
• RQ4 통합된 메시 네트워크 아키텍처가 분류 및 분할과 같은 다양한 3D 메시 작업에서 최신 기술(SOTA) 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 제안된 방법은 메시 전처리 과정에서 발생하는 문제, 예를 들어 레이블 전달 오류와 토폴로지 단순화와 같은 과제를 어떻게 다루는가?

주요 결과

• LaplacianNet는 ModelNet10과 ModelNet40에서 3D 형태 분류 과제에서 최신 기술(SOTA) 성능을 달성하며, 모든 단일 모델 SOTA 방법을 능가한다.
• COSEG 데이터셋에서 LaplacianNet은 기존 메시 기반 딥러닝 방법들보다 뛰어난 파트 분할 정확도를 달성한다.
• 라플라시안 스펙트럴 클러스터링의 사용 덕분에 등장변형과 다양한 메시 트라이앵귤레이션에 대해 강건함을 입증한다.
• ShapeNet에서의 실패 케이스는 주로 원천 점군 애너테이션의 노이즈, 전처리 과정 중 잘못된 레이블 전달, 자전거와 같은 복잡한 형태에 대한 훈련 데이터 부족에서 기인한다.
• Correlation Net은 고정된 클러스터 순서가 필요 없이 효과적인 전역 특징 융합을 가능하게 하여 이 경우에서 완전 연결 층보다 우수한 성능을 보인다.
• 다른 정점 수를 가진 메시 간에도 잘 일반화됨을 확인하여, 비균일한 메시 토폴로지 처리에 있어 그 민첩성을 입증한다.