[논문 리뷰] CAPNet: Continuous Approximation Projection For 3D Point Cloud Reconstruction Using 2D Supervision

K L Navaneet, Priyanka Mandikal외 2명|arXiv (Cornell University)|2018. 11. 28.

Advanced Vision and Imaging참고 문헌 20인용 수 4

한 줄 요약

CAPNet는 2D 감독 신호인 전경 마스크와 같은 것들로부터 3D 포인트 클라우드 재구성을 가능하게 하는 미분 가능하고 연속적인 근사 투영 모듈을 도입한다. 투영을 3D 포인트의 부드럽고 연속적인 함수로 모델링하고, 이상치를 억제하기 위해 유사도 손실을 도입함으로써, CAPNet는 단일 마스크만으로도 실재 및 합성 데이터셋에서 최신 기술 수준의 성능을 달성하며, 테스트 시점 최적화를 통해 이미지 대응 관계를 향상시킬 수 있다.

ABSTRACT

Knowledge of 3D properties of objects is a necessity in order to build effective computer vision systems. However, lack of large scale 3D datasets can be a major constraint for data-driven approaches in learning such properties. We consider the task of single image 3D point cloud reconstruction, and aim to utilize multiple foreground masks as our supervisory data to alleviate the need for large scale 3D datasets. A novel differentiable projection module, called 'CAPNet', is introduced to obtain such 2D masks from a predicted 3D point cloud. The key idea is to model the projections as a continuous approximation of the points in the point cloud. To overcome the challenges of sparse projection maps, we propose a loss formulation termed 'affinity loss' to generate outlier-free reconstructions. We significantly outperform the existing projection based approaches on a large-scale synthetic dataset. We show the utility and generalizability of such a 2D supervised approach through experiments on a real-world dataset, where lack of 3D data can be a serious concern. To further enhance the reconstructions, we also propose a test stage optimization procedure to obtain reconstructions that display high correspondence with the observed input image.

연구 동기 및 목표

• 대규모 3D 데이터셋의 부족 문제를 해결하기 위해 전경 마스크와 같은 2D 감독 신호만을 사용하여 3D 포인트 클라우드 재구성을 가능하게 하기 위해.
• 기존의 포인트 클라우드 투영 방법에서 발생하는 비미분 가능성과 희소성 문제를 극복하기 위해.
• 포인트 클라우드 투영의 미분 가능하고 연속적인 근사를 도입함으로써 재구성 품질을 향상시키기 위해.
• 희소 투영 지도에서 이상치 포인트를 효과적으로 억제하는 새로운 손실 함수인 유사도 손실을 개발하기 위해.
• 최소한의 3D 감독으로도 실재 데이터셋에 대한 일반화 능력을 입증하고, 관측된 마스크를 사용한 테스트 시점 최적화를 가능하게 하기 위해.

제안 방법

• 학습 가능한 분산을 가진 가우시안 커널을 사용하여 3D 포인트 클라우드 좌표의 함수로 2D 투영을 미분 가능하고 부드러운 함수로 모델링하는 연속적인 근사 투영 모듈을 제안한다.
• 핵밀도추정 기반의 미분 가능한 렌더링 과정을 사용하여 희소한 3D 포인트 클라우드에서 부드럽고 잡음이 없는 2D 투영을 생성한다.
• 분리되거나 고립된 포인트를 방지하기 위해 공간 일관성을 장려함으로써 이상치 생성을 줄이는 유사도 손실을 도입한다.
• 다중 시점 학습 설정을 활용하여 서로 다른 시점에서의 여러 2D 마스크를 사용하여 3D 재구성 과정을 감독한다.
• 입력 이미지의 전경 마스크를 사용하여 예측된 포인트 클라우드를 최적화하는 테스트 시점 최적화(TSO) 절차를 적용한다.
• 마스크 정확도와 구조적 충실도를 균형 있게 유지하기 위해 이진 교차 엔트로피 손실과 유사도 손실을 융합한 하이브리드 손실을 활용한다.

실험 결과

연구 질문

• RQ1 전경 마스크와 같은 2D 감독 신호만을 사용하여 약한 감독 하에 3D 포인트 클라우드 재구성을 가능하게 하는, 미분 가능하고 연속적인 투영 모듈을 설계할 수 있는가?
• RQ2 대부분의 영역에 투영된 포인트가 없는 희소한 투영 지도에서 기울기 흐름을 어떻게 유지할 수 있는가?
• RQ3 단일 2D 마스크만으로도 완전한 3D 감독 없이 고품질의 3D 재구성을 달성할 수 있는가?
• RQ4 관측된 마스크를 사용한 테스트 시점 최적화가 재구성된 3D 포인트 클라우드와 입력 이미지 간의 대응 관계를 상당히 향상시킬 수 있는가?
• RQ5 제안된 유사도 손실이 이상치 포인트 억제 및 재구성 품질 향상 측면에서 표준 교차 엔트로피 손실보다 어떻게 비교되는가?

주요 결과

• CAPNet는 대규모 합성 데이터셋에서 기존의 투영 기반 방법들을 크게 앞서며, 모든 카테고리에서 더 낮은 캐멀러 거리 값을 기록한다.
• 단일 전경 마스크만으로도 감독을 받은 상태에서 모델은 경쟁적인 성능을 달성하였으며, 실재 데이터셋에서 비행기의 캐멀러 거리는 2.01, 자동차의 경우 1.65를 기록하였다.
• 테스트 시점 최적화(TSO) 절차는 재구성 품질을 향상시키며, 특히 가림 영역에서 재구성된 포인트 클라우드가 입력 이미지와 더 나은 기하학적 및 구조적 대응 관계를 보여준다.
• 유사도 손실은 질적 결과와 이진 교차 엔트로피 손실로만 훈련된 모델 대비 낮은 캐멀러 점수를 통해 이상치 포인트를 효과적으로 감소시킴을 보여준다.
• 이 방법은 실재 데이터에 대해 잘 일반화되며, 연속적인 투영과 적절한 손실 설계를 결합할 경우 2D 감독만으로도 고품질의 3D 재구성이 가능함을 입증한다.
• 학습 시 사용하는 시점 수가 두 개를 넘어서면 수익 감소 현상이 나타나며, 성능은 2~3개의 시점에서 안정화됨을 보여주며, 뛰어난 샘플 효율성을 나타낸다.