[논문 리뷰] To The Point: Correspondence-driven monocular 3D category reconstruction

Filippos Kokkinos, Iasonas Kokkinos|arXiv (Cornell University)|2021. 06. 10.

Advanced Vision and Imaging참고 문헌 49인용 수 8

한 줄 요약

TTP는 카메라 자세와 변형을 CNN 기반의 회귀 대신 2D-3D 대응 관계에 대한 미분 가능한 샘플별 최적화를 통해 대체하는 단일 카메라 가설 기반의 3D 카테고리 재구성 방법을 제안한다. 강성 변환과 비강성 변형을 동시에 최적화하여 재투영 오차를 최소화함으로써, 기하학적 사전 지식 없이도 단일 카메라 가설로도 SOTA 성능을 달성하며, CUB 및 PASCAL3D+ 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

We present To The Point (TTP), a method for reconstructing 3D objects from a single image using 2D to 3D correspondences learned from weak supervision. We recover a 3D shape from a 2D image by first regressing the 2D positions corresponding to the 3D template vertices and then jointly estimating a rigid camera transform and non-rigid template deformation that optimally explain the 2D positions through the 3D shape projection. By relying on 3D-2D correspondences we use a simple per-sample optimization problem to replace CNN-based regression of camera pose and non-rigid deformation and thereby obtain substantially more accurate 3D reconstructions. We treat this optimization as a differentiable layer and train the whole system in an end-to-end manner. We report systematic quantitative improvements on multiple categories and provide qualitative results comprising diverse shape, pose and texture prediction examples. Project website: https://fkokkinos.github.io/to_the_point/.

연구 동기 및 목표

• 카메라 자세와 변형의 직접적인 CNN 회귀 대신 2D-3D 대응 관계를 활용하여 단일 카메라 기반 3D 재구성의 불안정한 성격을 해결한다.
• 학습 및 추론 과정에서 전체 끝에서 끝까지의 CNN 회귀를 샘플별 최적화 레이어로 대체함으로써 최적화 복잡도와 국소 최적값 문제를 감소시킨다.
• 강력한 지도 학습이나 사전 정의된 기하학적 사전 지식 없이도 마스크 애너테이션과 선택적 키포인트 애너테이션만으로도 고해상도 3D 재구성을 달성한다.
• 예측된 대응 관계가 직접 자세와 변형을 회귀하는 것보다 효과적임을 입증함으로써 정확도와 강인성을 향상시킨다.

제안 방법

• CNN를 사용하여 3D 템플릿 정점에 대응하는 2D 이미지 좌표를 회귀하고, 이를 미분 가능한 레이어로 간주한다.
• 각 이미지에 대해 재투영 오차를 최소화하는 강성 변환과 비강성 변형을 동시에 추정하기 위해 샘플별 최적화 문제를 해결한다.
• 최적화 과정은 미분 가능하며 학습 파ipeline에 통합되어 전체 시스템을 통해 역전파가 가능하다.
• 픽셀 수준의 재투영 오차, 가시성 일관성, 데이터 증강에 대한 동치성 등의 자기지도 학습 손실을 사용한다.
• 비강성 형태 변형을 위한 학습된 기저를 활용하며, 실험 결과 기저 크기가 증가할수록 성능 향상이 확인된다.
• 키포인트 지도 학습 유무에 관계없이 학습을 수행하며, 키포인트 없이도 뛰어난 성능을 보여준다.

실험 결과

연구 질문

• RQ1 직접 재투영 오차를 최소화하는 미분 가능한 최적화 레이어가 단일 카메라 기반 3D 재구성에서 CNN 기반 자세 및 변형 회귀보다 성능이 뛰어나게 되는가?
• RQ2 사전 정의된 카메라 시점이나 대칭성 등의 기하학적 사전 지식을 제거함으로써 일반화 성능 향상과 다중 가설 샘플링에 대한 의존도 감소가 이루어지는가?
• RQ3 마스크 애너테이션과 선택적 키포인트를 포함한 약한 지도 학습으로 강력한 지도 학습 없이도 고품질 3D 재구성을 얼마나 잘 달성할 수 있는가?
• RQ4 단일 최적화 단계로도 정확한 3D 메시 복구가 가능할까? 이는 증강 현실과 같은 실시간 또는 상호작용 기반 응용에 기여할 수 있는가?
• RQ5 키포인트 지도 학습 및 키포인트 없이도, 대응 기반 최적화의 성능이 기존 SOTA 방법과 비교해 어떻게 되는가?

주요 결과

• TTP는 64개의 기저 성분과 키포인트 지도 학습을 사용할 때 PASCAL3D+ 데이터셋에서 0.775의 3D mIoU를 달성하며, UCMR 및 CMR를 포함한 기존 방법들을 능가한다.
• 키포인트 지도 학습 없이도 TTP는 PASCAL3D+에서 0.752 mIoU를 기록하며, CSM(0.512 mIoU)과 같은 키포인트 없이도 성능을 낼 수 있는 경쟁자들보다 뚜렷이 뛰어나다.
• CUB 데이터셋에서 TTP는 키포인트 지도 학습을 사용할 경우 PCK 점수 93.6을 기록하며, 다음으로 우수한 방법보다 10점 이상 높다.
• 절단 실험 결과, 픽셀 수준의 재투영 오차 손실을 제거할 경우 키포인트 없이도 성능이 0.667 mIoU로 떨어지며, 이는 손실이 지도 학습에서 핵심적인 역할을 함을 시사한다.
• 단일 카메라 가설로도 SOTA 성능을 달성하여 이전 연구에서 사용된 다중 자세 가설 및 복잡한 선택 메커니즘의 필요성을 피한다.
• 정성적 결과에서는 TTP가 CMR 및 UCMR에 비해 더 정확한 텍스처, 변형, 자세 추정을 제공하며, 특히 미세한 디테일과 복잡한 형태를 더 잘 포착한다.