[논문 리뷰] Mesh R-CNN

Georgia Gkioxari, Jitendra Malik외 1명|arXiv (Cornell University)|2019. 06. 06.

3D Shape Modeling and Analysis참고 문헌 70인용 수 90

한 줄 요약

Mesh R-CNN은 2D 객체 검출과 3D 형태 예측을 통합하기 위해 메스크 R-CNN에 메시 예측 브랜치를 추가하여 다양한 위상 구조를 가진 삼각형 메시를 생성한다. 먼저 근사적인 볼륨 표현을 예측하고, 이를 메시로 변환한 후 그래프 컨volution 네트워크를 사용해 정밀화한다. 이로 인해 단일 이미지 기반 3D 형태 예측에서 최고 성능을 달성하며, 실제 이미지에서 객체 검출과 3D 복원을 동시에 가능하게 한다.

ABSTRACT

Rapid advances in 2D perception have led to systems that accurately detect objects in real-world images. However, these systems make predictions in 2D, ignoring the 3D structure of the world. Concurrently, advances in 3D shape prediction have mostly focused on synthetic benchmarks and isolated objects. We unify advances in these two areas. We propose a system that detects objects in real-world images and produces a triangle mesh giving the full 3D shape of each detected object. Our system, called Mesh R-CNN, augments Mask R-CNN with a mesh prediction branch that outputs meshes with varying topological structure by first predicting coarse voxel representations which are converted to meshes and refined with a graph convolution network operating over the mesh's vertices and edges. We validate our mesh prediction branch on ShapeNet, where we outperform prior work on single-image shape prediction. We then deploy our full Mesh R-CNN system on Pix3D, where we jointly detect objects and predict their 3D shapes.

연구 동기 및 목표

• 실제 이미지에서 2D 객체 검출과 3D 형태 복원 간 격차를 메우기 위해.
• 객체 검출과 전체 3D 메시 형태 예측을 동시에 수행할 수 있는 통합 프레임워크를 개발하기 위해.
• 고정되거나 사전 정의된 위상 구조가 아닌, 변형 가능한 위상 구조를 가진 메시 예측을 가능하게 하기 위해.
• 합성 데이터셋을 초월해 실제 기준 데이터셋에서 단일 이미지 기반 3D 형태 예측 성능을 향상시키기 위해.

제안 방법

• 변형 가능한 위상 구조를 가진 삼각형 메시를 출력하는 메시 예측 브랜치를 메스크 R-CNN에 추가한다.
• 2D 이미지 특징에서 3D 형태의 근사적인 볼륨 표현을 예측한다.
• 예측된 볼륨을 메시 재구성 알고리즘을 사용해 초기 삼각형 메시로 변환한다.
• 정점 및 간선 특징을 기반으로 작동하는 그래프 컨volution 네트워크를 사용해 메시 기하학을 정밀화한다.
• 메시 구조와 표면 세부 정보를 최적화하기 위해 미분 가능 메시 정밀화 모듈을 사용한다.
• 객체 검출 및 3D 형태 예측을 동시에 수행하는 실세계 이미지 데이터셋에서 엔드 투 엔드로 전체 시스템을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 단일 RGB 이미지에서 객체를 동시에 검출하고 3D 메시 형태를 예측할 수 있는가?
• RQ2 실제 장면에서 3D 객체의 다양한 위상적 특성에 대해 메시 예측을 어떻게 강건하게 만들 수 있는가?
• RQ3 볼륨 기반의 근사 예측 후 그래프 컨볼루션을 통한 정밀화 방식이 3D 형태 복원에 어떤 성능 향상을 가져오는가?
• RQ4 제안된 방법은 단일 이미지 기반 3D 형태 예측 기준에서 이전 최고 성능 기준과 비교해 어떻게 성능을 냈는가?
• RQ5 이 시스템은 합성 데이터나 단일 객체 설정을 초월해 실제 세계의 다양한 복잡한 장면에 일반화될 수 있는가?

주요 결과

• Mesh R-CNN는 ShapeNet 기준에서 단일 이미지 기반 3D 형태 예측에서 최고 성능을 달성하며, 이전 방법들을 능가한다.
• 메시 예측 브랜치는 실제 이미지에 잘 일반화되어 있으며, 이는 Pix3D 데이터셋에 적용된 결과로 입증되었다.
• 메시 정밀화에 그래프 컨볼루션 네트워크를 사용함으로써 기준 방법 대비 메시 품질과 기하학적 세부 정보가 향상되었다.
• 시스템은 다양한 위상적 특성을 가진 3D 메시를 성공적으로 예측하여 복잡한 형태의 정확한 모델링을 가능하게 했다.
• 엔드 투 엔드 훈련을 통해 객체 검출과 3D 형태 예측이 동시에 최적화되어 두 작업 모두 성능이 향상되었다.