[논문 리뷰] Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation

Chao Wen, Yinda Zhang외 2명|arXiv (Cornell University)|2019. 08. 05.

Advanced Vision and Imaging인용 수 9

한 줄 요약

이 논문은 다중 뷰 이미지에서 3D 메시를 생성하는 데 있어 초기 거친 메시를 교차 뷰 인식 특성 통계를 사용해 반복적으로 변형함으로써 성능을 향상시키는 그래프 컨volution 네트워크인 Pixel2Mesh++를 제안한다. 다중 뷰 기하학에 영감을 받아, 미분 가능한 소프트 아르맥스와 통계적 특성 풀링을 사용하여 엔드 투 엔드 학습을 가능하게 하며, 카테고리, 시야 수, 초기화 품질에 관계없이 뛰어난 일반화 능력을 보이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We study the problem of shape generation in 3D mesh representation from a few color images with known camera poses. While many previous works learn to hallucinate the shape directly from priors, we resort to further improving the shape quality by leveraging cross-view information with a graph convolutional network. Instead of building a direct mapping function from images to 3D shape, our model learns to predict series of deformations to improve a coarse shape iteratively. Inspired by traditional multiple view geometry methods, our network samples nearby area around the initial mesh's vertex locations and reasons an optimal deformation using perceptual feature statistics built from multiple input images. Extensive experiments show that our model produces accurate 3D shape that are not only visually plausible from the input perspectives, but also well aligned to arbitrary viewpoints. With the help of physically driven architecture, our model also exhibits generalization capability across different semantic categories, number of input images, and quality of mesh initialization.

연구 동기 및 목표

• 부족한 기하학적 구조와 음영 영역에서의 낮은 일반화 능력 등의 단일 뷰 3D 메시 생성의 한계를 해결한다.
• 알려진 카메라 포즈를 가진 3~5장의 입력 이미지에서 교차 뷰 정보를 활용해 형태 정확도와 시야 일致성을 향상시킨다.
• 단일 이미지 모델의 단순한 다중 뷰 확장 방식이 다중 뷰 상관관계를 효과적으로 활용하지 못하는 점을 보완한다.
• 다양한 수의 입력 뷰와 낮은 품질의 메시 초기화에 대해 강건한, 미분 가능한 물리적 영감을 받은 변형 메커니즘을 통해 엔드 투 엔드 학습을 가능하게 한다.
• 재학습이 필요 없이 점진적으로 기하학적 품질을 향상시키는 반복적 메시 정밀화를 달성한다.

제안 방법

• 다중 입력 이미지에서 풀링된 특성을 사용해 초기 거친 메시의 반복적 정점 변형을 수행하는 다중 뷰 변형 네트워크(MDN)를 제안한다.
• 변형 가설 선택에서 비가역적인 argmax를 근사하기 위해 미분 가능한 3D 소프트 아르맥스를 사용하여 엔드 투 엔드 역전파를 가능하게 한다.
• 입력 순서 및 입력 수에 불변성을 확보하기 위해 평균, 최대값, 표준편차를 활용한 통계적 특성 풀링을 적용하여 교차 뷰 특성 상관관계를 인코딩한다.
• 변형된 면 위에서 점을 재샘플링하여 희박하거나 비정규적인 메시 영역에서의 오차를 더 효과적으로 벌점화하는 재샘플링된 카메이퍼 거리 손실을 도입한다.
• 그래프 컨volution 네트워크(GCN)를 활용해 메시 정점 간에 변형 신호를 전파함으로써 정밀화 과정에서 메시 토폴로지 유지한다.
• 연결 대신 통계 기반 특성 집약을 사용함으로써 단일 순차 전파에서 임의의 수의 입력 뷰를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 이미지의 교차 뷰 정보를 단일 뷰 사전 지식을 초월해 3D 메시 생성 향상에 효과적으로 활용할 수 있는가?
• RQ2 딥 러닝 모델은 다중 뷰 제약 조건을 사용해 거친 메시를 반복적으로 정밀화하면서도 미분 가능하고 일반화 능력을 유지할 수 있는가?
• RQ3 다양한 수의 입력 뷰와 열악한 메시 초기화에 대해 강건성을 확보하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ4 다양한 뷰에서의 인식 특성 통계를 사용하면 직접 특성 연결보다 더 나은 카테고리 및 뷰 수에 대한 일반화를 이룰 수 있는가?
• RQ5 변형을 통한 반복적 정밀화가 단일 단계 예측 방법에 비해 메시 품질을 크게 향상시킬 수 있는가?

주요 결과

• Pixel2Mesh++는 3장의 입력 뷰를 사용할 때 ShapeNet에서 최신 기술 수준의 성능을 달성하여 F-score(τ) 66.48%와 F-score(2τ) 80.30%를 기록했다.
• 더 많은 입력 뷰를 사용할수록 일관된 성능 향상을 유지하며, 5개 뷰를 사용할 경우 F-score(τ) 68.29%와 F-score(2τ) 81.97%를 달성하여 뛰어난 확장성을 입증했다.
• 재샘플링된 카메이퍼 거리 손실은 재샘플링 없이 0.496에서 0.486로 카메이퍼 거리 감소를 이끌어내어, 특히 희박한 영역에서 메시 무결성 향상에 기여했다.
• 통계적 특성 풀링은 연결 방식보다 성능을 향상시켰으며, 원시 특성 연결을 사용할 경우 F-score(τ) 65.26%에 비해 66.48%를 기록하여 더 나은 불변성과 상관관계 인코딩을 확보했다.
• 반복적 정밀화는 성능 향상을 이끌었으며, 3회 반복 후 성능 포화 상태에 도달하여 최적 결과를 얻기 위해 3회 반복으로 충분함을 시사했다.
• 노이즈가 있거나 초기화 품질이 열악한 경우에도 모델은 우수한 일반화 능력을 보였으며, 무작위 노이즈 제거 및 왜곡된 메시를 정답 메시에 정렬하는 데 성공하여 초기화 품질에 대한 강건성을 확인했다.