[논문 리뷰] SpiralNet++: A Fast and Highly Efficient Mesh Convolution Operator

Shunwang Gong, Lei Chen외 2명|arXiv (Cornell University)|2019. 11. 13.

3D Shape Modeling and Analysis참고 문헌 32인용 수 7

한 줄 요약

SpiralNet++는 학습된 커널 가중치 대신 고정된 나선형 순서를 통해 정점 이웃 관계를 명시적으로 인코딩하는 빠르고 효율적인 메시 컨볼루션 연산자를 제안한다. 이는 강력하고 종단 간 훈련이 가능하게 하며, 밀도 높은 형태 대응, 3D 얼굴 표정 분류, 3D 형태 복원에서 최신 기술을 능가한다. 또한 형태 기술자나 의사좌표에 의존하지 않으며, 훨씬 더 빠른 속도를 제공한다.

ABSTRACT

Intrinsic graph convolution operators with differentiable kernel functions play a crucial role in analyzing 3D shape meshes. In this paper, we present a fast and efficient intrinsic mesh convolution operator that does not rely on the intricate design of kernel function. We explicitly formulate the order of aggregating neighboring vertices, instead of learning weights between nodes, and then a fully connected layer follows to fuse local geometric structure information with vertex features. We provide extensive evidence showing that models based on this convolution operator are easier to train, and can efficiently learn invariant shape features. Specifically, we evaluate our method on three different types of tasks of dense shape correspondence, 3D facial expression classification, and 3D shape reconstruction, and show that it significantly outperforms state-of-the-art approaches while being significantly faster, without relying on shape descriptors. Our source code is available on GitHub.

연구 동기 및 목표

• 복잡한 커널 함수나 의사좌표 시스템에 의존하지 않고 3D 메시 데이터를 위한 효율적이고 미분 가능한 컨볼루션 연산자 설계의 과제를 해결하기 위해.
• 랜덤 나선형 순서 생성 대신 고정된, 메시 구조에 민감한 순서를 사용하여 메시 기반 기하 딥러닝에서 훈련 안정성과 효율성을 향상시키기 위해.
• 순서화된 이웃 집합 처리를 통해 국소 기하 구조를 명시적으로 인코딩하여 불변 형태 특징의 강력한 학습을 가능하게 하기 위해.
• 밀도 높은 대응, 표정 분류, 형태 복원과 같은 다양한 3D 비전 작업에서 뛰어난 성능과 빠른 속도를 입증하기 위해.
• 모델 파rameter를 늘리지 않고 다중 척도 기하 세부 정보를 캡처할 수 있는 확장형 연산자 버전을 도입하기 위해.

제안 방법

• 메시당 한 번만 정해진 고정된 나선형 순서를 사용해 이웃 정점의 순서를 정의함으로써, 각 에포크마다 랜덤 순서 생성을 대체하여 훈련 안정성과 효율성을 향상시킴.
• 나선형 순서 적용 후 완전 연결층을 적용하여 국소 기하 구조를 정점 특징과 융합함으로써, 복잡한 커널 가중치 함수를 학습할 필요 없이 처리함.
• 다중 척도에서 더 큰 이웃 영역을 샘플링하는 확장형 컨볼루션 변형을 통합하여, 파rameter 수를 늘리지 않고 수용 영역을 확장함.
• 형태 복원을 위해 표준 오토인코더 프레임워크 내에서 연산자를 적용하며, 정점 복원을 위해 기하 중심 좌표를 사용한 풀링 및 언풀링을 통합함.
• 모든 기준 모델과 동일한 아키텍처에서 공정한 비교를 보장하기 위해, 모든 실험에서 고정된 초기화 조건을 가진 Adam 옵timizer를 사용함.
• 사전 처리된 형태 기술자나 의사좌표가 필요 없이 3D 좌표 그대로에서 작동함.

실험 결과

연구 질문

• RQ1 학습된 커널 함수나 의사좌표 시스템에 의존하지 않고도 빠르고 효율적인 메시 컨볼루션 연산자를 설계할 수 있는가?
• RQ2 각 에포크마다 랜덤화하는 대신 고정된 나선형 순서를 사용할 경우, 훈련 수렴성과 모델 안정성이 향상되는가?
• RQ3 고정된 구조의 이웃 집합 처리 방법이 다양한 3D 비전 작업에서 분류 가능한 불변 형태 특징을 효과적으로 학습할 수 있는가?
• RQ4 제안된 확장형 SpiralNet++ 버전이 표준 버전 대비 다중 척도 기하 세부 정보를 얼마나 잘 캡처하는가?
• RQ5 형태 기술자 없이 SpiralNet++가 형태 복원, 대응, 표정 분류에서 최신 기술을 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• SpiralNet++는 모든 기준 모델보다 밀도 높은 형태 대응에서 더 높은 정확도를 달성하며, 수렴 속도가 빠르고 훈련 시간이 짧음.
• 3D 얼굴 표정 분류에서 SpiralNet++는 CoMA, Neural3DMM, MoNet, FeaStNet보다 더 낮은 평균 및 중앙값 유클리드 오차를 기록했으며, 극단적인 표정에서 특히 두각을 나타냄.
• 확장형 SpiralNet++ 버전은 더 낮은 평균 및 중앙값 오차를 기록하며 더 뛰어난 복원 품질을 달성하여 비선형 형태 세부 정보를 더 잘 캡처하는 능력을 입증함.
• Neural3DMM 및 CoMA와 같은 경쟁 모델보다 각 에포크당 몇 배 빠른 속도를 기록함. 이는 효율적인 고정 순서 설계 덕분임.
• 형태 기술자나 의사좌표를 사용하지 않음에도 불구하고 모든 평가된 작업에서 최신 기술 성능을 달성하여 일반화 능력을 입증함.
• 시각화 결과에 따르면 SpiralNet++는 특히 극단적인 표정을 가진 얼굴에서 더 정확한 복원을 생성함. 다른 모델은 이 경우에 크게 실패함.