[논문 리뷰] Continuous Geodesic Convolutions for Learning on 3D Shapes

Zhangsihao Yang, Or Litany외 3명|arXiv (Cornell University)|2020. 02. 06.

3D Shape Modeling and Analysis참고 문헌 55인용 수 6

한 줄 요약

이 논문은 원시 메시에서 직접 기하학적 기술자를 학습하는 딥러닝 프레임워크를 제안한다. 유연한 국소 기준좌표계(LRF)와 연속 컨볼루션 커널을 사용하여 강체 변환에 대한 불변성과 샘플링 변동에 대한 강건성을 확보한다. 이 방법은 형태 매칭 및 인간 신체 부위 분할 작업에서 수작업으로 설계된 기술자보다 우수한 성능을 보이며, 변형 가능한 형태에서 뛰어난 정확도와 일반화 능력을 입증한다.

ABSTRACT

The majority of descriptor-based methods for geometric processing of non-rigid shape rely on hand-crafted descriptors. Recently, learning-based techniques have been shown effective, achieving state-of-the-art results in a variety of tasks. Yet, even though these methods can in principle work directly on raw data, most methods still rely on hand-crafted descriptors at the input layer. In this work, we wish to challenge this practice and use a neural network to learn descriptors directly from the raw mesh. To this end, we introduce two modules into our neural architecture. The first is a local reference frame (LRF) used to explicitly make the features invariant to rigid transformations. The second is continuous convolution kernels that provide robustness to sampling. We show the efficacy of our proposed network in learning on raw meshes using two cornerstone tasks: shape matching, and human body parts segmentation. Our results show superior results over baseline methods that use hand-crafted descriptors.

연구 동기 및 목표

• 수작업으로 설계된 기술자에 의존하지 않고 원시 메시 데이터에서 직접 특징을 학습함으로써 3D 형태 학습에서의 의존도를 제거한다.
• 변형 가능한 형태 분석에서 샘플링 변동에 대한 강건성과 강체 변환에 대한 불변성을 향상시킨다.
• 기존의 기술자 기반 기반선보다 우수한 성능을 보이는 데이터 기반, 엔드 투 엔드 트레이너블 아키텍처를 개발한다.
• 비정적 메시에서 기하학적 딥러닝에 있어 연속 컨볼루션 커널과 학습 가능한 LRF의 효과성을 조사한다.

제안 방법

• 강체 변환에 대한 불변성을 확보하기 위해 특징을 표준 국소 좌표계에 정렬하는 학습 가능한 국소 기준좌표계(LRF) 모듈을 도입한다.
• 입력 기하구조에 따라 특징을 적응적으로 샘플링하고 집계하는 연속 컨볼루션 커널을 활용하여 비균일한 샘플링에 대한 강건성을 향상시킨다.
• 지오데식 거리, 정점 좌표, 표면 법선을 입력 특징으로 사용하여 국소 형태 기하학을 유지한다.
• 공간 일관성을 유지하면서 국소 표현을 풍부하게 하기 위해 층 간 특징 전파를 적용한다.
• 형태 매칭 및 분할 작업에 맞춤형 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 특징 집계를 위해 가장 먼 점 샘플링(FPS)을 활용하지만, 이 방법은 샘플링 의존성이라는 한계를 인정하고 있다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 수작업으로 설계된 기술자에 의존하지 않고 원시 메시 데이터에서 직접 효과적인 기하학적 기술자를 학습할 수 있는가?
• RQ2 학습 가능한 국소 기준좌표계(LRF)를 통합할 경우, 고정된 수작업 기반 LRF에 비해 비정적 형태 작업에서 성능이 어떻게 향상되는가?
• RQ3 연속 컨볼루션 커널은 변형 가능한 3D 형태에서 샘플링 변동에 대해 얼마나 강건성을 향상시키는가?
• RQ4 원시 메시 특징에서 엔드 투 엔드로 학습하는 것이 SHOT이나 지오데식 패치와 같은 수작업 기반 기술자를 사용하는 최신 기법보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 방법은 인간 신체 부위 분할 작업에서 FAUST 데이터셋에서 98.30%의 정확도를 달성하여 SHOT 기술자를 사용하는 기준선 FMNet를 능가했다.
• 합성 FAUST 형태 매칭 벤치마크에서, 이전의 학습 기반 방법들인 FMNet, MoNet, GCNN와 비교해 지오데식 오차를 감소시켰다.
• 절단 실험 결과, LRF 구성요소를 제거할 경우 성능 저하가 가장 크게 발생했으며(98.30%에서 95.24%로), 이는 LRF가 불변성을 유지하는 데 핵심적인 역할을 함을 확인했다.
• 정점 좌표(vij)의 포함 여부가 가장 영향력 있는 구성요소로 나타났으며, 기하학적 표현 학습에 기여하는 데 기여도가 높았다.
• 연속 컨볼루션 커널과 특징 전파 모듈 각각이 강건성 향상에 기여했으며, 특히 커널은 국소 기하구조에 맞는 동적 필터 적응을 가능하게 했다.