[논문 리뷰] Deep Mesh Prior: Unsupervised Mesh Restoration using Graph Convolutional Networks

Shota Hattori, Tatsuya Yatagawa외 2명|arXiv (Cornell University)|2021. 07. 02.

3D Shape Modeling and Analysis참고 문헌 53인용 수 7

한 줄 요약

이 논문은 그래프 컬러션 네트워크(GCNs)를 사용하여 단일 입력 메시에서 사전 훈련이나 대규모 데이터셋 없이 직접 자기 유사성(self-similarity)을 학습하는 비지도 메시 복원 방법인 딥 메시 프리오리티(DMP)를 제안한다. GCN을 사용하여 부드러운 입력 메시에서 정점 이동량을 예측하도록 훈련시킴으로써 DMP는 노이즈 제거 및 완성에서 최신 기술 수준의 성능을 달성하며, 대규모 훈련 데이터에 의존하는 기존 방법들을 능가한다.

ABSTRACT

This paper addresses mesh restoration problems, i.e., denoising and completion, by learning self-similarity in an unsupervised manner. For this purpose, the proposed method, which we refer to as Deep Mesh Prior, uses a graph convolutional network on meshes to learn the self-similarity. The network takes a single incomplete mesh as input data and directly outputs the reconstructed mesh without being trained using large-scale datasets. Our method does not use any intermediate representations such as an implicit field because the whole process works on a mesh. We demonstrate that our unsupervised method performs equally well or even better than the state-of-the-art methods using large-scale datasets.

연구 동기 및 목표

• 대규모 레이블이 붙은 데이터셋에 의존하지 않고 메시 복원—노이즈 제거 및 완성—문제를 해결한다.
• 기존 딥 러닝 방법들이 형태 데이터셋에서 광범위한 사전 훈련이 필요로 하여 새로운 형태로의 일반화 능력이 제한되는 문제를 해결한다.
• 공유 가중치를 가진 GCN을 사용하여 단일 입력 메시에서 직접 형태 프리오리티를 습득하는 비지도 프레임워크를 개발한다.
• 암시적 필드나 볼록 격자와 같은 중간 표현을 피하여 메시의 구조를 전체 과정 동안 유지한다.
• 단일 메시에서 GCN을 통해 학습한 자기 유사성이 대규모 데이터셋으로 훈련된 지도 학습 방법의 성능에 맞추거나 초월할 수 있음을 입증한다.

제안 방법

• 그래프 컬러션 네트워크(GCNs)를 활용하여 삼각형 메시에 적합하게 조정된 비지도 메시 복원 프레임워크를 제안하며, 이는 딥 이미지 프리오리티(DIP)의 개념을 기반으로 한다.
• 절대 정점 위치가 아닌 정점 이동량 벡터를 예측하도록 GCN을 훈련시켜 수렴성과 복원 품질을 향상시킨다.
• 기본 형태를 만들기 위해 입력 메시에 라플라시안 스무딩을 적용하고, GCN이 원래의 깨끗하거나 완전한 메시로 복원하기 위해 필요한 이동량(차이)을 학습한다.
• 층 간에 가중치를 공유하는 단일 신경망을 사용하여 메시 표면 전체와 다양한 해상도에서의 글로벌 자기 유사성을 포착한다.
• 추가 정규화(예: 라플라시안 손실) 없이 예측된 메시와 진짜 값 사이의 재구성 손실(MAD)만을 최적화하여 네트워크를 학습시킨다.
• 입력과 출력이 모두 메시인 엔드 투 엔드 메시-투-메시 처리를 보장하여 포인트 클라우드나 암시적 필드와 같은 중간 표현이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋 없이도 단일 메시의 자기 유사성을 비지도 딥 러닝을 통해 효과적으로 학습할 수 있는가?
• RQ2 GCN 기반 프레임워크에서 절대 위치가 아닌 정점 이동량을 예측하는 것이 메시 복원 성능 향상에 기여하는가?
• RQ3 초기 메시 스무딩 방법의 선택(예: 라플라시안, 구면 맵핑, 또는 스무딩 없음)이 수렴 속도와 최종 복원 품질에 어떤 영향을 미치는가?
• RQ4 비지도 GCN 기반 방법이 대규모 훈련 데이터를 사용하는 지도 학습 최신 기술 방법과 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ5 제안된 메시-투-메시, 엔드 투 엔드 프레임워크는 노이즈 제거 및 완성과 같은 일반적인 메시 복원 작업에 실용적인가?

주요 결과

• 제안된 방법인 딥 메시 프리오리티(DMP)는 대규모 훈련 데이터셋에 의존하는 최신 기술 수준의 지도 학습 방법과 유사하거나 뛰어난 재구성 성능를 달성한다.
• 절대 위치가 아닌 정점 이동량을 예측함으로써 MAD 점수는 특히 훈련 후반 단계에서 유의미하게 낮아지며, 이는 구조적인 기하학을 더 잘 학습했음을 시사한다.
• 입력 메시에 라플라시안 스무딩을 적용할 경우 수렴 속도와 재구성 정확도 사이의 최적의 균형을 이룹니다. 이는 처리되지 않은 입력 및 구면 맵핑보다 뛰어난 성능을 보였다.
• 입력 메시가 스무딩되지 않은 경우 GCN은 빠르게 영이 이동량을 출력하여 MAD 점수가 노이즈가 있는 입력과 거의 동일하게 되며, 이는 효과적인 학습을 위해 스무딩이 필수적임을 확인한다.
• Bimba 모델의 경우, 라플라시안 스무딩을 사용한 후 4,000단계에서 MAD 점수가 6.91에서 10,000단계에선 5.82로 향상되어, 적절한 스무딩이 수렴 속도는 느리지만 더 정확한 복원을 가능하게 함을 보여준다.
• 사전 훈련이나 외부 형태 프리오리티가 필요 없이 단일 입력 메시만으로도 노이즈 제거 및 완성 메시를 성공적으로 복원하였다.