[논문 리뷰] Learning Local Neighboring Structure for Robust 3D Shape Representation

Zhongpai Gao, Junchi Yan외 4명|arXiv (Cornell University)|2020. 04. 21.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 3D 메시 표현 학습을 위한 국소 구조 인지 이방형 컨볼루션인 LSA-Conv를 제안한다. 이는 각 정점의 이웃들을 소프트로 순열화하는 적응형 가중치 행렬을 학습함으로써, 사전 정의된 좌표계 없이도 공유 이방형 필터링을 가능하게 한다. 이 방법은 3D 모양 복원 및 형태 대응, 단일 뷰 3D 얼굴 복원과 같은 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mesh is a powerful data structure for 3D shapes. Representation learning for 3D meshes is important in many computer vision and graphics applications. The recent success of convolutional neural networks (CNNs) for structured data (e.g., images) suggests the value of adapting insight from CNN for 3D shapes. However, 3D shape data are irregular since each node's neighbors are unordered. Various graph neural networks for 3D shapes have been developed with isotropic filters or predefined local coordinate systems to overcome the node inconsistency on graphs. However, isotropic filters or predefined local coordinate systems limit the representation power. In this paper, we propose a local structure-aware anisotropic convolutional operation (LSA-Conv) that learns adaptive weighting matrices for each node according to the local neighboring structure and performs shared anisotropic filters. In fact, the learnable weighting matrix is similar to the attention matrix in the random synthesizer -- a new Transformer model for natural language processing (NLP). Comprehensive experiments demonstrate that our model produces significant improvement in 3D shape reconstruction compared to state-of-the-art methods.

연구 동기 및 목표

• 3D 메시에서 비정규적이고 순서가 없는 이웃 구조가 효과적인 컨볼루션 특징 학습을 방해하는 문제를 해결한다.
• 기존 3D 형태를 위한 그래프 컨볼루션 네트워크에서 등장하는 등방성 필터와 사전 정의된 국소 좌표계의 한계를 극복한다.
• 명시적인 순서 또는 고정 템플릿 없이도 노드별로 특화된 이웃 순서를 학습함으로써 고용량의 적응형 특징 추출을 가능하게 한다.
• 기하학적 국소 구조를 이용한 미분 가능하고 학습 가능한 가중치 메커니즘을 통해 3D 모양 복원 정확도를 향상시킨다.
• 형태 대응 및 단일 뷰 3D 얼굴 복원과 같은 후속 작업으로의 일반화 능력을 입증한다.

제안 방법

• 국소 기하 구조에 기반해 이웃을 재가중하고 소프트로 순열화하는 노드별로 특화된, 미분 가능한 가중치 행렬을 학습하는 새로운 컨볼루션 레이어인 LSA-Conv를 제안한다.
• 가중치 행렬은 딥 네트워크의 일부로 엔드 투 엔드로 훈련되며, 트랜스포머의 어텐션 메커니즘과 유사하게 적응형 이웃 순서를 가능하게 한다.
• 재가중된 이웃 집합에 공유된 이방형 필터를 적용하여 국소 특징을 추출함으로써, 공간 불변성과 표현 능력을 향상시킨다.
• 고정 토폴로지 메시와의 호환성을 유지하면서, LSA-3DMM이라는 컨볼루션 메시 오토인코더에 LSA-Conv를 통합한다.
• SpiralNet이나 KPConv와 달리 수동으로 나선 순서나 커널 포인트 할당을 하지 않는, 학습 가능한 파라미터 효율적인 메커니즘을 사용한다.
• COMA 및 DFAUST와 같이 고정 토폴로지인 표준 3D 메시 데이터셋을 사용하여 표준 최적화 기법으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 구조 인지 재가중 메커니즘이 고정 또는 등방성 컨볼루션 연산을 초월하여 3D 메시 표현을 향상시킬 수 있는가?
• RQ2 사전 정의된 국소 좌표계나 나선 순서가 필요 없어지면, 비정규적인 3D 메시에서 특징 학습이 향상되는가?
• RQ3 학습 가능한 가중치를 통한 적응형 이웃 순서 변경이 등방성 또는 고정 순서 방법에 비해 복원 정확도 향상에 얼마나 기여하는가?
• RQ4 LSA-Conv는 형태 대응 및 단일 뷰 3D 얼굴 복원과 같은 후속 3D 비전 작업으로 효과적으로 일반화되는가?
• RQ5 LSA-3DMM 프레임워크에서 이웃 수(K)는 복원 정확도와 모델 복잡도 사이의 상호 보완적 관계에 어떻게 영향을 미치는가?

주요 결과

• LSA-3DMM은 COMA(얼굴) 및 DFAUST(신체) 데이터셋에서 모두 최신 기술 수준의 3D 모양 복원 성능을 달성하며, COMA, SpiralNet, PCA와 같은 기존 방법들을 능가한다.
• COMA 데이터셋에서 LSA-3DMM의 복원 오차는 0.212로, SpiralNet(0.227)보다 유의미하게 낮아 학습 가능한 순서가 사전 정의된 순서보다 우월함을 입증한다.
• DFAUST 데이터셋에서 LSA-3DMM은 K=5일 때 복원 오차 3.869를 기록했으며, 이는 작은 이웃 수임에도 불구하고 PCA(9.977), COMA(5.238), Spiral(5.258)보다 우수하다.
• 제거 실험 결과, 가중치 행렬을 제거하면 복원 오차가 증가함을 확인하여, 구조 인지 재가중 메커니즘이 반드시 필요함을 증명한다.
• 3D 형태 대응 작업에서 LSA-Conv는 FAUST-inter에서 평균 오차를 2.501cm로 줄였으며, Groueix 등(2.878cm)에 비해 15% 향상되었다.
• 단일 뷰 3D 얼굴 복원 작업에서 LSA-Conv 기반 디코더는 AFLW2000-3D에서 정성적으로 뛰어난 결과를 도출하여, 실제 3D 생성 작업에서의 효과성을 입증한다.