[논문 리뷰] Mesh Convolution with Continuous Filters for 3D Surface Parsing

Huan Lei, Naveed Akhtar외 2명|arXiv (Cornell University)|2021. 12. 03.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 삼각형 메시를 사용한 계층적 3D 표면 해석을 위한 파이토치 및 텐서플로우 호환 라이브러리인 Picasso를 소개한다. 구면 조화함수를 통한 연속적인 메시 컨벌루션, GPU 가속 메시 단순화, 그리고 (언)풀링 연산을 제안하여 효율적이고 확장 가능한 특징 학습을 가능하게 한다. Picasso 기반의 깊이 있는 계층적 네트워크인 PicassoNet++는 높은 mIoU와 정확도를 기록하며, 형태 분석 및 시나리오 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Geometric feature learning for 3D surfaces is critical for many applications in computer graphics and 3D vision. However, deep learning currently lags in hierarchical modeling of 3D surfaces due to the lack of required operations and/or their efficient implementations. In this paper, we propose a series of modular operations for effective geometric feature learning from 3D triangle meshes. These operations include novel mesh convolutions, efficient mesh decimation and associated mesh (un)poolings. Our mesh convolutions exploit spherical harmonics as orthonormal bases to create continuous convolutional filters. The mesh decimation module is GPU-accelerated and able to process batched meshes on-the-fly, while the (un)pooling operations compute features for up/down-sampled meshes. We provide open-source implementation of these operations, collectively termed Picasso. Picasso supports heterogeneous mesh batching and processing. Leveraging its modular operations, we further contribute a novel hierarchical neural network for perceptual parsing of 3D surfaces, named PicassoNet++. It achieves highly competitive performance for shape analysis and scene segmentation on prominent 3D benchmarks. The code, data and trained models are available at https://github.com/EnyaHermite/Picasso.

연구 동기 및 목표

• 3D 삼각형 메시에서의 딥러닝을 위한 효율적이고 모듈화된 연산, 특히 계층적 특징 학습을 위한 부족을 보완하기 위해.
• 메시 전용 연산인 컨벌루션, 단순화, (언)풀링을 도입하여 이질적이고 비균일한 3D 메시에서 효과적인 기하학적 특징 학습을 가능하게 하기 위해.
• 딥 네트워크 내에서 실시간 메시 단순화 및 해상도 적응을 통해 대규모 3D 표면 해석을 지원하기 위해.
• 새로운 계층적 아키텍처인 PicassoNet++를 통해 형태 분석 및 시나리오 세그멘테이션 작업의 성능을 향상시키기 위해.
• 파이토치 및 텐서플로우 지원을 갖춘 모듈화되고 GPU 가속된 라이브러리를 공개하여 기하학적 딥러닝의 접근성을 높이기 위해.

제안 방법

• 구면 조화함수를 정규 수직 기저로 사용하여, 애지무 및 고도 각도(θ, φ)로 매개변수화된 연속 필터를 생성하기 위해 메시 컨벌루션을 정의한다.
• 면 중심 컨벌루션은 면 법선을 각도 입력으로 사용하며, 정점 중심 및 면-면 컨벌루션은 각도 매개변수화를 위해 투영된 기하학적 좌표를 사용한다.
• GPU 가속 메시 단순화 모듈은 배치 단위의 메시를 실시간으로 단순화하며, 계층적 특징 학습을 위한 목표 정점 수 제어가 가능하다.
• 메시 (언)풀링 연산은 단순화 과정 중 기록된 정점 클러스터를 기반으로 정의되어, 해상도 변화 동안 특징 전파가 가능하다.
• 확장된 점군 컨벌루션은 구면 조화함수와 반경 거리 r을 조합하여 주변 구면 내에서 연속적인 필터링을 가능하게 한다.
• PicassoNet++는 Picasso의 모듈을 활용하는 깊이 있는 계층적 네트워크로, 점군 컨벌루션 의존도를 줄이고, 향상된 스케일 연결 및 깊이 구조를 사용한다.

실험 결과

연구 질문

• RQ1 연속적이고 구면 조화함수 기반의 필터는 3D 표면 특징 학습을 위한 효과적이고 효율적인 메시 컨벌루션을 가능하게 하는가?
• RQ2 GPU 가속 및 실시간 메시 단순화는 이질적인 3D 메시의 확장 가능한 계층적 처리를 지원하는가?
• RQ3 단순화 클러스터 기반의 (언)풀링 연산은 해상도 변화 시 특징의 무결성을 유지하는가?
• RQ4 점군 컨벌루션에 의존하는 하이브리드 접근 방식보다 메시 중심 네트워크인 PicassoNet++가 고해상도 메시 분석에서 더 우수한 성능을 내는가?
• RQ5 PicassoNet++는 형태 분석 및 대규모 시나리오 파싱 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PicassoNet++는 ShapeNet-Part 데이터셋에서 71.8%의 mIoU와 HUMAN 데이터셋에서 91.5%의 정확도를 기록하여 형태 분석에서 뛰어난 성능을 입증한다.
• PicassoNet++에서 이중 점군 컨벌루션(T²–T⁵)을 제거해도 정확도가 0.1% 뿐 감소(91.5% 대비 91.4%)하여, 메시 컨벌루션만으로도 고해상도 특징 학습이 충분함을 시사한다.
• 다양한 벤치마크, 즉 ShapeNetCore 및 실제 시나리오 표면에서 높은 성능를 유지하며, 2D t-SNE 시각화 결과는 형태 클래스 간 명확하고 의미적으로 유의미한 군집을 보여준다.
• 인간 신체 및 실제 시나리오에 대한 의미적 해석 결과는 높은 정확도를 보이며, 주로 물체 경계 근처나 노이즈가 있는 진짜 레이블로 인한 미세한 오류가 발생한다.
• 절단 분석 결과 메시 컨벌루션이 매우 효과적이며, 점군 컨벌루션은 고해상도 메시 학습에서 수동적인 역할을 한다는 점을 확인하여 PicassoNet++에서의 감소가 타당함을 입증한다.
• Picasso 라이브러리는 파이토치 및 텐서플로우 모두에서 효율적이고 이질적인 메시 배치 및 처리를 가능하게 하며, 오픈소스로 공개되어 https://github.com/EnyaHermite/Picasso 에서 접근할 수 있다.