[논문 리뷰] Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve

Weicheng Kuo, Anelia Angelova외 2명|arXiv (Cornell University)|2020. 07. 26.

3D Shape Modeling and Analysis참고 문헌 41인용 수 6

한 줄 요약

Mask2CAD는 공통 임베딩 공간 내에서 객체를 동시 검출하고 가장 유사한 CAD 모델을 검색하는 검색 기반 방법을 통해 단일 RGB 이미지에서 3D 형상 예측을 수행한다. 이는 Pix3D에서 최고 성능(0.613 IoU, 0.086 Chamfer 거리)을 달성하며, 재학습 없이도 예측되지 않은 형상을 일반화할 수 있어 콘텐츠 제작 및 도메인 전이에 적합한 경량이고 타당한 3D 표현을 제공한다.

ABSTRACT

Object recognition has seen significant progress in the image domain, with focus primarily on 2D perception. We propose to leverage existing large-scale datasets of 3D models to understand the underlying 3D structure of objects seen in an image by constructing a CAD-based representation of the objects and their poses. We present Mask2CAD, which jointly detects objects in real-world images and for each detected object, optimizes for the most similar CAD model and its pose. We construct a joint embedding space between the detected regions of an image corresponding to an object and 3D CAD models, enabling retrieval of CAD models for an input RGB image. This produces a clean, lightweight representation of the objects in an image; this CAD-based representation ensures a valid, efficient shape representation for applications such as content creation or interactive scenarios, and makes a step towards understanding the transformation of real-world imagery to a synthetic domain. Experiments on real-world images from Pix3D demonstrate the advantage of our approach in comparison to state of the art. To facilitate future research, we additionally propose a new image-to-3D baseline on ScanNet which features larger shape diversity, real-world occlusions, and challenging image views.

연구 동기 및 목표

• 기존 CAD 모델 데이터베이스를 활용하여 기하학적 구조를 새로 생성하는 대신, 단일 RGB 이미지에서 정확한 3D 형상 예측을 가능하게 하기 위해.
• 실세계 이미지를 합성적이고 압축적이며 타당한 CAD 기반 표현으로 변환하여 실세계-합성 도메인 간 격차를 해소하기 위해.
• 학습 중에 볼 수 없었던 3D 형상을 테스트 시점에서 일반화할 수 있도록 하되, 재학습 없이도 가능하게 하기 위해, 단지 CAD 모델 라이브러리의 확장만으로도 가능하도록 하기 위해.
• 콘텐츠 제작, 로봇공학, 혼합현실과 같은 실용적 응용을 지원하기 위해 깔끔하고 경량적인 3D 객체 표현을 생성하기 위해.
• 다양한 실제 도전 과제를 포함한 ScanNet 데이터셋을 사용하여 단일 이미지 3D 복원의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 쌍체 손실을 사용하여 이미지 영역과 CAD 모델 간의 대응 쌍을 가깝게 하고, 비대응 쌍은 멀리 떼어놓는 공통의 이미지-CAD 임베딩 공간을 구성한다.
• 2D 객체 검출(경계 상자, 세그멘테이션 마스크)과 3D 형상 검색, 자세 보정을 동시에 수행하는 미분 가능하고 종단 간(end-to-end) 프레임워크를 사용한다.
• 자세 예측 브랜치를 활용하여 객체의 회전과 중심 위치를 회귀함으로써, 검색된 CAD 모델을 이미지 영역에 정확하게 정렬한다.
• ShapeNet 등의 대규모 데이터셋에서 사전 확보한 CAD 모델을 형상 사전 지식으로 활용하여, 생성 기반 3D 복원에서 흔히 발생하는 노이즈와 잔상 문제를 피한다.
• 학습 중에 색상 조정(HSV 색상 왜곡), ROI 왜곡, 이미지 스케일 왜곡 등의 데이터 증강 기법을 적용하여 정확도를 향상시킨다.
• 추론 시 공통 임베딩 공간에서 코사인 유사도를 사용하여 각 검출된 객체 영역에 대해 가장 유사한 CAD 모델을 검색한다.

실험 결과

연구 질문

• RQ1 기존 CAD 모델을 활용한 검색 기반 접근 방식이 생성 기반 3D 복원 방법에 비해 형상 정확도와 타당성 측면에서 뛰어나게 성능을 냈는가?
• RQ2 CAD 기반 방법이 재학습이나 미세조정 없이도 예측되지 않은 3D 객체 형상에 얼마나 잘 일반화되는가?
• RQ3 실세계 조건 하에서 이미지 영역과 의미적·기하학적으로 유사한 CAD 모델을 공통 임베딩 공간이 얼마나 효과적으로 정렬할 수 있는가?
• RQ4 ScanNet과 같이 복잡한 가림, 다양한 시야 등을 포함한 대규모이고 다양한 데이터셋에도 이 방법이 확장 가능한가?
• RQ5 경량 CAD 표현을 사용할 경우 추론 효율성이 향상되고 실시간 또는 상호작용형 응용에 더 적합해지는가?

주요 결과

• Mask2CAD는 Pix3D $σ_1$ 테스트 분할에서 평균 IoU 0.613과 Chamfer 거리 0.086을 기록하여 FroDO(0.325 IoU)와 MarrNet(0.231 IoU)와 같은 최고 수준의 기존 방법들을 크게 능가한다.
• 학습 중에 볼 수 없었던 3D 형상을 테스트 시점에서 재학습 없이도 일반화할 수 있으며, 단지 CAD 모델 데이터베이스의 확장만으로도 강력한 제로샷 일반화 성능을 보여준다.
• ScanNet 데이터셋에서 Mask2CAD는 평균 Mesh AP 8.4%를 기록했고, 소파의 경우 최대 23.1%까지 기록하여 가림, 다양한 시야, 조명 변화 등의 실제 도메인 과제에 대비한 강건성을 입증했다.
• 640×640 이미지당 약 60ms 내외로 추론가능하여 실시간 응용에 효율적이다.
• 학습 중에 볼 수 없었던 이미지에 포함된 객체가 있어도 성능 저하 없이 높은 성능 유지를 보이며, 검색 기반 전략의 효과성을 확인한다.
• 노이즈와 과도한 부드러움이 흔한 생성 기반 접근 방식과는 달리, 타당하고 깔끔한 기하학적 구조를 유지한 정확한 3D 복원을 가능하게 한다.