[논문 리뷰] MeshWalker: Deep Mesh Understanding by Random Walks

Alon Lahav, Ayellet Tal|arXiv (Cornell University)|2020. 06. 09.

3D Shape Modeling and Analysis참고 문헌 108인용 수 7

한 줄 요약

MeshWalker는 3D 삼각 메시를 표면 상에서의 무작위 보행을 통해 표현하고, 이러한 시퀀스를 순환 신경망(RNN)에 입력하여 기하학적 및 위상적 구조를 학습하는 혁신적인 딥러닝 프레임워크를 제안한다. 이 방법은 매우 작은 데이터셋에서도 최신 기술 성능을 달성하며, 전처리 없이도 비워터타이트 또는 다중 컴포넌트 메시를 처리할 수 있다.

ABSTRACT

Most attempts to represent 3D shapes for deep learning have focused on volumetric grids, multi-view images and point clouds. In this paper we look at the most popular representation of 3D shapes in computer graphics - a triangular mesh - and ask how it can be utilized within deep learning. The few attempts to answer this question propose to adapt convolutions & pooling to suit Convolutional Neural Networks (CNNs). This paper proposes a very different approach, termed MeshWalker, to learn the shape directly from a given mesh. The key idea is to represent the mesh by random walks along the surface, which "explore" the mesh's geometry and topology. Each walk is organized as a list of vertices, which in some manner imposes regularity on the mesh. The walk is fed into a Recurrent Neural Network (RNN) that "remembers" the history of the walk. We show that our approach achieves state-of-the-art results for two fundamental shape analysis tasks: shape classification and semantic segmentation. Furthermore, even a very small number of examples suffices for learning. This is highly important, since large datasets of meshes are difficult to acquire.

연구 동기 및 목표

• 표준 CNN이 어려운 불규칙한 3D 메시 데이터에 직접 딥러닝을 적용하는 데 도전하는 것.
• RNN에 적합한 시퀀스 형식으로 국소 기하학적 구조와 전반적인 위상적 특성을 모두 포괄하는 메시 표현 방식을 개발하는 것.
• 3D 모양 분석에서 큰 메시 데이터셋을 확보하기 어려운 점을 감안해 소규모 데이터셋에서도 효과적인 학습을 가능하게 하는 것.
• 비워터타이트 또는 분리된 컴포넌트를 포함한 임의의 삼각 메시에서 작동하는 일반적인 프레임워크를 만드는 것.
• 핵심 형태 분석 작업인 분류와 의미 분할에서 접근 방식의 효과성을 입증하는 것.

제안 방법

• 메시는 정점 간의 무작위 보행을 통해 표현되며, 각 보행은 표면의 기하학적 및 위상적 특성을 탐색하는 정점의 시퀀스이다.
• 각 무작위 보행은 기억을 유지함으로써 계층적 표현을 학습하는 게이트형 순환단위(GRUs)의 스택을 통해 처리된다.
• RNN의 출력은 풀링되고 완전히 연결된 레이어를 거쳐 분류 또는 분할 작업에 사용되며, 역전파를 통한 엔드 투 엔드 훈련이 수행된다.
• 보행은 임의의 정점에서 시작하여, 이웃한 정점들 중에서 균일하게 무작위로 다음 정점을 선택함으로써 생성되며, 이는 메시 표면의 탐색을 보장한다.
• 의미 분할을 위해 각 메시에서 보행이 샘플링되며, 최종 RNN 출력에 의미 분할 헤드를 적용하여 정점별 레이블을 예측한다.
• 대규모 메시의 경우 훈련 전 메시 단순화를 적용하여 계산 비용을 줄이며, 평가를 위해 결과를 원본 메시로 다시 투영한다.

실험 결과

연구 질문

• RQ1 3D 메시에서의 무작위 보행이 RNN이 형태의 구조를 학습할 수 있도록 효과적인 시퀀스 기반 표현으로 기능할 수 있는가?
• RQ2 MeshWalker 프레임워크가 소규모 데이터셋에서도 3D 메시 분류 및 의미 분할 분야에서 최신 기술 성능을 달성하는가?
• RQ3 메시의 위상적 제약 없이도 비워터타이트 또는 분리된 메시에 대해 일반화 가능한가?
• RQ4 훈련 데이터가 제한되었을 때 MeshWalker의 성능가 CNN 기반 메시 방법과 비교해 어떻게 되는가?
• RQ5 보행 수의 다양성과 데이터 증강 효과로 인해 RNN이 메시 데이터에 대해 CNN보다 유리한 특성을 가지는가?

주요 결과

• SHREC11, COSEG, ModelNet40 데이터셋에서 MeshWalker는 3D 메시 분류 작업에서 최신 기술 성능을 달성하며, 최소한의 훈련 데이터로도 이전 방법들을 능가한다.
• 인간 신체 분할 데이터셋에서 MeshWalker는 평균 교차율(mIoU) 0.81을 기록하여 이전 최고 성능 방법들을 초월한다.
• 부각된 특징이 희박한 인레이드 큐브 데이터셋에서는 분류 정확도 98.5%를 달성하여 낮은 신호 강도를 가진 형태에 대해 뛰어난 내성성을 보였다.
• 클래스당 4개의 메시만으로도 ModelNet40에서 85.6%의 정확도를 달성하여, 저데이터 환경에서 기준 방법들을 크게 능가한다.
• 비워터타이트 또는 다중 컴포넌트 메시에 대해서도 잘 일반화됨을 ModelNet40 데이터셋에서 입증하였다.
• 실패 사례는 특정 부위(예: 헤어)의 훈련 예제가 부족할 경우 발생하며, 이는 데이터 의존성의 한계를 드러낸다.