[논문 리뷰] Scan2CAD: Learning CAD Model Alignment in RGB-D Scans

Armen Avetisyan, Manuel Dahnert외 4명|arXiv (Cornell University)|2018. 11. 27.

3D Surveying and Cultural Heritage참고 문헌 39인용 수 22

한 줄 요약

이 논문은 3D CNN를 통해 2D 대응 히트맵을 예측하고 변동 에너지 최소화를 통해 9DoF 자세를 최적화하여 노이즈가 많고 부족한 RGB-D 스캔에 3D CAD 모델을 정렬하는 딥러닝 방법인 Scan2CAD를 소개한다. 새로운 벤치마크에서 14,225개의 CAD 모델과 ScanNet 스캔에서 유래한 97,607개의 애너테이션 키포인트 쌍을 기반으로 기존 최고 성능 기법 대비 21.39% 향상된 성능을 달성한다.

ABSTRACT

We present Scan2CAD, a novel data-driven method that learns to align clean 3D CAD models from a shape database to the noisy and incomplete geometry of a commodity RGB-D scan. For a 3D reconstruction of an indoor scene, our method takes as input a set of CAD models, and predicts a 9DoF pose that aligns each model to the underlying scan geometry. To tackle this problem, we create a new scan-to-CAD alignment dataset based on 1506 ScanNet scans with 97607 annotated keypoint pairs between 14225 CAD models from ShapeNet and their counterpart objects in the scans. Our method selects a set of representative keypoints in a 3D scan for which we find correspondences to the CAD geometry. To this end, we design a novel 3D CNN architecture that learns a joint embedding between real and synthetic objects, and from this predicts a correspondence heatmap. Based on these correspondence heatmaps, we formulate a variational energy minimization that aligns a given set of CAD models to the reconstruction. We evaluate our approach on our newly introduced Scan2CAD benchmark where we outperform both handcrafted feature descriptor as well as state-of-the-art CNN based methods by 21.39%.

연구 동기 및 목표

• 실내 환경에서 노이즈가 많고 부족한 RGB-D 스캔에 깔끔하고 완전한 CAD 모델을 정렬하는 문제에 대응한다.
• 실제 스캔과 합성 CAD 모델 간의 도메인 차이로 인해 수작업으로 설계된 기하적 특징과 초기 학습 기반 방법의 한계를 극복한다.
• 실제 스캔 기하학과 합성 CAD 기하학 간의 분포 격차를 고려한 데이터 기반 방법을 개발하여 일반화 능력을 향상시킨다.
• 학습 및 벤치마킹을 가능하게 하기 위해 대규모 고품질 데이터셋을 구축한다.
• 원시 RGB-D 스캔에서 깨끗하고 완전한 3D 시각화를 복원하기 위해 정확하고 강력한 9DoF 자세 추정을 가능하게 한다.

제안 방법

• 실제 스캔 기하학과 합성 CAD 모델 간의 공동 임베딩을 학습하여 대응 히트맵을 예측하는 새로운 3D CNN 아키텍처를 제안한다.
• ShapeNet에서 유래한 14,225개의 CAD 모델과 1,506개의 ScanNet 스캔 간 97,607개의 키포인트 대응 관계를 포함한 새로운 데이터셋으로 네트워크를 훈련시킨다.
• 예측된 히트맵 피크와 스캔 키포인트 간의 거리를 최소화함으로써 CAD 모델을 정렬하는 변동 에너지 최소화 목표를 수립한다.
• 예측된 대응 히트맵을 감독으로 사용하여 9DoF 자세(3D 이동 및 3D 회전)를 최적화한다.
• 대칭성, 척도, 대응점(CP) 사전 지식을 최적화에 통합하여 정확성과 강건성을 향상시킨다.
• 가능한 한 끝에서 끝까지 대응 예측과 자세 보정을 학습하기 위해 가역적 렌더링 및 최적화 파이프라인을 통합한다.

실험 결과

연구 질문

• RQ1 도메인 차이가 존재하는 실세계 RGB-D 스캔와 합성 CAD 모델 간에 딥러닝 모델이 신뢰할 수 있는 대응 관계를 효과적으로 예측할 수 있는가?
• RQ2 합성 기하학과 실제 기하학을 함께 학습한 공동 임베딩 네트워크가 수작업 기반 특징 대비 대응 예측 성능를 어떻게 향상시키는가?
• RQ3 학습된 히트맵을 활용한 변동 에너지 최소화가 노이즈가 많고 부족한 스캔에서 전통적인 ICP나 기능 기반 정렬보다 얼마나 뛰어난가?
• RQ4 기하학적 사전 지식(대칭성, 척도, 대응점)의 통합이 CAD 모델 정렬의 강건성과 정확성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 정확한 CAD 모델이 제공되지 않은 제약 없는 환경에서도 일반화 가능한가?

주요 결과

• 제안된 방법은 Scan2CAD 벤치마크에서 평균 정확도 31.68%를 달성하여 이전 최고 성능 기법(3DMatch) 대비 21.39% 향상되었다.
• 대칭성, 척도, 대응점 모두를 포함한 사전 지식이 적용된 경우 소파에 대해 70.63%의 정확도, 의자에 대해 60.00%의 정확도를 기록하여 복잡하고 대칭적인 물체에 대해 뛰어난 성능를 보였다.
• 제약 없는 환경에서도 잘 일반화된다: ShapeNet에서 무작위로 400개의 CAD 모델을 제공받은 경우 평균 정확도 35.64%를 달성하여 정확한 모델 검색 없이도 강건성을 입증했다.
• 제거 실험을 통해 대칭성, 척도, 대응점 사전 지식을 추가할 경우 성능 향상이 뚜렷하게 확인되었으며, 전체 구성에서 평균 정확도 35.64%를 기록했다.
• 3D CNN 기반의 대응 예측이 수작업 기반 기술(FPFH, SHOT)과 3DMatch와 같은 학습 기반 방법보다도 낮은 무늬 또는 손상된 물체에서 더 뛰어난 성능를 보였다.
• 예측된 대응 관계 중 1/3만 고정된 상태에서도 최고 성능를 기록함으로써 히트맵 예측의 높은 신뢰성을 입증했다.