[논문 리뷰] DiffusionNet: Discretization Agnostic Learning on Surfaces

Nicholas Sharp, Souhaib Attaiki외 2명|arXiv (Cornell University)|2020. 12. 01.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

DiffusionNet는 삼각형 메esh와 포인트 클라우드에서 작동하는 학습 가능한 확산 레이어를 사용하여 해상도에 민감하지 않은 3D 표면을 위한 디지털화 무관(decomposition-agnostic) 딥러닝 프레임워크를 소개한다. 확산 지원을 연속적인 파라미터로 최적화하고, 포인트별 MLP와 공간 기반 기울기 특징을 결합함으로써 고정된 이웃 크기가 필요 없이 강력하고 해상도에 관계없이 안정적인 특징 전파를 가능하게 하여 표면 분류, 분할, 비정적 대응 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a new general-purpose approach to deep learning on 3D surfaces, based on the insight that a simple diffusion layer is highly effective for spatial communication. The resulting networks are automatically robust to changes in resolution and sampling of a surface -- a basic property which is crucial for practical applications. Our networks can be discretized on various geometric representations such as triangle meshes or point clouds, and can even be trained on one representation then applied to another. We optimize the spatial support of diffusion as a continuous network parameter ranging from purely local to totally global, removing the burden of manually choosing neighborhood sizes. The only other ingredients in the method are a multi-layer perceptron applied independently at each point, and spatial gradient features to support directional filters. The resulting networks are simple, robust, and efficient. Here, we focus primarily on triangle mesh surfaces, and demonstrate state-of-the-art results for a variety of tasks including surface classification, segmentation, and non-rigid correspondence.

연구 동기 및 목표

• 메쉬 해상도와 샘플링 밀도의 변화에 대해 강건한 3D 표면을 위한 딥러닝 프레임워크를 개발하는 것.
• 그래프 기반 GNN에서 메시지 전파의 공간적 지원을 수동으로 선택하는 것의 필요성을 제거하기 위해 메시지 전파의 공간 지원을 학습하는 것.
• 재학습 없이도 한 기하학적 표현(예: 삼각형 메쉬)에서 학습하고 다른 표현(예: 포인트 클라우드)에서 추론할 수 있도록 하는 것.
• 효과적인 공간적 소통를 통해 표면 분석 작업(예: 분류, 분할, 비정적 대응)의 성능을 향상시키는 것.
• 확산 과정을 일반 목적의 인덕티브 바이어스로 활용하여 표면에서의 기하학적 딥러닝을 통합하는 것.

제안 방법

• 학습 가능한 확산 레이어를 사용하여 연속적인 공간 필터로 작용하며, 확산 반경은 국소에서 전역까지 변하는 미분 가능한 파라미터로 최적화된다.
• 특징 전파가 포인트별 특징에 적용된 확산 연산자를 통해 이루어지며, 커널은 위상에 의해 고정되지 않고 종합적으로 학습된다.
• 각 포인트는 자체 특징에 대해 다층 퍼셉트론(MLP)을 독립적으로 적용한 후, 이웃의 특징을 기반으로 한 확산 기반 집계를 수행한다.
• 방향성 필터링과 기하학적 인식을 향상시키기 위해 공간 기울기 특징을 통합한다.
• 삼각형 메쉬에서 종합적으로 학습된 아키텍처는 재학습 없이도 포인트 클라우드로 일반화할 수 있다.
• 확산 과정은 그래프 컬러레이션의 연속적 리프레젠테이션으로 공식화되어 다양한 표면 표현 간의 디지털화 무관 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 확산 레이어가 표면 기하학적 딥러닝에서 수작업으로 설계된 이웃 구조를 대체할 수 있는가?
• RQ2 한 표면 표현에서 학습된 단일 네트워크가 다른 표현(예: 메쉬에서 포인트 클라우드로)으로 일반화하는 데 얼마나 효과적인가?
• RQ3 기존 GNN과 비교해 표준 표면 학습 벤치마크에서 확산 기반 네트워크의 성능은 어떠한가?
• RQ4 확산 지원의 종합 최적화가 샘플링 및 해상도 변화에 대한 강건성을 향상시킬 수 있는가?
• RQ5 공간 기울기 특징을 통합할 경우 기하학적 딥러닝에서 방향성 특징 학습에 어떤 영향을 미치는가?

주요 결과

• DiffusionNet는 ShapeNet 및 SURREAL과 같은 표준 벤치마크에서 표면 분류, 분할, 비정적 대응 작업에서 최신 기술 수준의 성능을 달성한다.
• 메쉬 해상도와 샘플링 밀도의 변화에 대해 강건하며, 다양한 디지털화 수준에서도 일관된 성능을 유지한다.
• 삼각형 메쉬에서 학습한 네트워크가 포인트 클라우드에서 추론할 때 효과적으로 일반화되어 디지털화 무관 학습을 입증한다.
• 학습 중에 학습된 확산 반경이 자동으로 국소 및 전역 수용 영역의 균형을 잘 맞추며 수동 조정 없이 효과적으로 적응한다.
• 비정적 대응과 같은 방향성 민감도가 요구되는 작업에서 공간 기울기 특징을 통합함으로써 성능 향상이 이루어진다.
• 단지 확산 레이어, MLP 및 기울기 특징에 의존함으로써 최소한의 아키텍처 복잡성으로도 뛰어난 성능을 달성한다.