[논문 리뷰] Mesh Variational Autoencoders with Edge Contraction Pooling

Yujie Yuan, Yu‐Kun Lai외 3명|arXiv (Cornell University)|2019. 08. 07.

3D Shape Modeling and Analysis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 3D 메시에서 일관된 연결성을 유지하면서 계층적인 특징 학습을 가능하게 하는, 수정된 메시 단순화 알고리즘을 기반으로 한 새로운 엣지 수축 풀링 연산을 갖춘 메시 변분 오토에인코더를 제안한다. 이 방법은 파라미터 수를 줄이고 기하학적 세부 정보를 유지함으로써, 모델 일반화 능력을 향상시키고 고해상도 모델을 처리하며, 이전 작업에 비해 형태 생성, 보간, 임베딩에서 뛰어난 성능을 발휘한다.

ABSTRACT

3D shape analysis is an important research topic in computer vision and graphics. While existing methods have generalized image-based deep learning to meshes using graph-based convolutions, the lack of an effective pooling operation restricts the learning capability of their networks. In this paper, we propose a novel pooling operation for mesh datasets with the same connectivity but different geometry, by building a mesh hierarchy using mesh simplification. For this purpose, we develop a modified mesh simplification method to avoid generating highly irregularly sized triangles. Our pooling operation effectively encodes the correspondence between coarser and finer meshes in the hierarchy. We then present a variational auto-encoder structure with the edge contraction pooling and graph-based convolutions, to explore probability latent spaces of 3D surfaces. Our network requires far fewer parameters than the original mesh VAE and thus can handle denser models thanks to our new pooling operation and convolutional kernels. Our evaluation also shows that our method has better generalization ability and is more reliable in various applications, including shape generation, shape interpolation and shape embedding.

연구 동기 및 목표

• 메시 기반 딥 러닝에서 효과적인 풀링 연산의 부족으로 인해 수용 영역 확장과 모델 일반화가 제한되는 문제를 해결하기 위해.
• 일관된 연결성을 갖춘 고해상도 3D 메시에서 효율적이고 파라미터 효율적인 학습을 가능하게 하기 위해.
• 끝에서 끝까지 훈련 가능한, 군집 수준 간의 대응 관계를 유지하는 풀링 메커니즘을 개발하기 위해.
• 그래프 컨볼루션과 수정된 메시 단순화 프로세스를 통합하여 메시 변분 오토에인코더의 성능을 향상시키기 위해.
• 기존 방법에 비해 형태 생성, 보간 및 저차원 임베딩에서 향상된 능력을 입증하기 위해.

제안 방법

• 기하학적 및 토폴로지적 제약 조건을 기반으로 엣지 수축을 우선순위로 하여, 극도로 비정규적인 삼각형을 피하는 수정된 메시 단순화 알고리즘을 제안한다.
• 계층 내 연속적인 메시 수준 간에 명시적인 정점 대응 관계를 유지하는 엣지 수축 풀링 연산을 도입한다.
• 정점 기반 변형 표현에서 특징 학습을 위한 그래프 컨volution 레이어를 사용하는 변분 오토에인코더 아키텍처를 활용한다.
• 일관된 연결성을 갖춘 메시 간 처리를 가능하게 하기 위해 원시 3D 좌표 대신 각 정점의 특징 표현(변형 기울기)을 입력으로 사용한다.
• 저장된 대응 맵을 사용하여 잠재 코드에서 고해상도 메시를 재구성하는 역풀링 연산을 설계한다.
• 메시 계층을 통해 국소 기하 패턴을 캡처하고, 계층적 특징 추상화를 가능하게 하기 위해 그래프 컨볼루션을 적용한다.

실험 결과

연구 질문

• RQ1 메시 단순화 기반의 풀링 연산이 딥 러닝을 위해 군집 수준 간의 대응 관계를 효과적으로 인코딩할 수 있는가?
• RQ2 완전히 연결된 레이어에 비해 엣지 수축 풀링은 메시 VAE에서 일반화 능력과 파라미터 효율성에 어떻게 기여하는가?
• RQ3 제안된 방법은 이전 메시 VAE가 처리할 수 없었던 고해상도 메시를 어느 정도 처리할 수 있는가?
• RQ4 최첨단 접근 방식과 비교했을 때, 이 방법은 형태 보간 및 임베딩에서 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 다양한 3D 형태의 변형에 걸쳐 기하학적 정밀도와 구조적 일관성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 완전히 연결된 레이어에 의존하는 원래 MeshVAE에 비해 더 뛰어난 일반화 능력과 재구성 품질을 달성한다.
• 메모리 제약으로 인해 MeshVAE가 처리할 수 없었던 밀도 높은 메시(예: 42,321개 정점)를 효율적인 풀링 및 컨볼루션 연산 덕분에 처리할 수 있다.
• 보간 결과는 아티팩트나 불필요한 운동 없이 더 매끄럽고 자연스러운 운동 시퀀스를 보이며, MeshVAE와 데이터 기반 방법 [8]을 모두 능가한다.
• 복잡하거나 비인간 형태 간에도 고해상도의 세밀한 형태 생성 및 보간 결과를 생성하며, 그 결과는 그림 12와 그림 13에서 확인할 수 있다.
• 잠재 공간 시각화 결과는 이 방법이 내재된 순환 운동 패턴을 성공적으로 포착하여 2D 임베딩에서 일관된 원형을 형성하는 반면, t-SNE와 PCA는 그렇지 못함을 보여준다.
• 이 프레임워크는 형태 임베딩에서 강건성을 입증하며, 유사한 형태와 자세를 그룹화하면서도 구조적 및 변형 관계를 유지한다.