[논문 리뷰] RealPoint3D: Point Cloud Generation from a Single Image with Complex Background

Yan Xia, Yang Zhang외 4명|arXiv (Cornell University)|2018. 09. 08.

3D Shape Modeling and Analysis참고 문헌 19인용 수 4

한 줄 요약

RealPoint3D는 사전에 검색된 3D 형상 모델을 통해 3D 형상 지식을 통합함으로써, 복잡한 배경과 임의의 시점에서의 단일 실사 이미지로부터 3D 포인트 클라우드 생성을 위한 새로운 프레임워크를 제안한다. 사전에 구축된 데이터베이스에서 얻은 가장 가까운 이웃 3D 형상과 2D 이미지를 조합함으로써, 이 방법은 합성 및 실세계 데이터 모두에서 세밀한 3D 복원에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

3D point cloud generation by the deep neural network from a single image has been attracting more and more researchers' attention. However, recently-proposed methods require the objects be captured with relatively clean backgrounds, fixed viewpoint, while this highly limits its application in the real environment. To overcome these drawbacks, we proposed to integrate the prior 3D shape knowledge into the network to guide the 3D generation. By taking additional 3D information, the proposed network can handle the 3D object generation from a single real image captured from any viewpoint and complex background. Specifically, giving a query image, we retrieve the nearest shape model from a pre-prepared 3D model database. Then, the image together with the retrieved shape model is fed into the proposed network to generate the fine-grained 3D point cloud. The effectiveness of our proposed framework has been verified on different kinds of datasets. Experimental results show that the proposed framework achieves state-of-the-art accuracy compared to other volumetric-based and point set generation methods. Furthermore, the proposed framework works well for real images in complex backgrounds with various view angles.

연구 동기 및 목표

• 실세계 이미지에서 복잡한 배경과 다양한 시점으로 인해 기존 3D 생성 방법이 실패하는 문제를 해결하기 위해.
• 사전에 존재하는 3D 모델 데이터베이스에서의 사전 3D 형상 지식을 통합하여 3D 복원의 정밀도를 향상시키기 위해.
• 객체 마스크나 청소된 배경이 필요 없이 단일 이미지에서 종단 간 3D 포인트 클라우드 생성을 가능하게 하기 위해.
• ObjectNet3D와 같은 실세계 데이터셋에서 3D 복원의 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 프레임워크는 입력 이미지에서 추출한 이미지 특징을 사용하여 사전에 구축된 3D 모델 데이터베이스에서 가장 가까운 3D 형상을 검색한다.
• 이미지 특징은 다수의 시점에서 렌더링된 3D 모델의 저장된 특징과 비교되어 가장 유사한 형상을 찾는다.
• 검색된 3D 형상과 입력 이미지가 함께 딥 네트워크에 입력되어 완전하고 세밀한 3D 포인트 클라우드를 생성한다.
• 네트워크 아키텍처는 검색된 형상을 처리하기 위한 3D 인코더 브랜치와 입력 이미지를 처리하기 위한 2D 이미지 인코더를 포함하며, 생성을 위해 특징 융합이 이루어진다.
• 검색된 형상을 인덕티브 바이어스로 활용하여, 부분적으로 가려진 부분을 포함한 세밀한 3D 기하 구조를 재구성할 수 있도록 종단 간으로 훈련된다.
• 희소하고 특징적인 특징을 사용한 검색에 기반함으로써, 이 프레임워크는 시점 변화, 가림, 복잡한 배경에 대해 강건하게 설계되어 있다.

실험 결과

연구 질문

• RQ1 사전 3D 형상 지식이 복잡한 배경을 가진 단일 실사 이미지에서 3D 포인트 클라우드 생성에 기여할 수 있는가?
• RQ2 데이터베이스에서 검색된 3D 형상을 통합함으로써, 마스크 기반 또는 마스크 비기반 방법과 비교해 복원 품질에 어떤 영향을 미치는가?
• RQ3 검색 기반 접근 방식이 실세계 이미지에서 기존의 볼륨형 및 포인트 기반 생성 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 가려짐과 시점 변화가 있는 복잡한 구조(예: 소파, 의자)의 물체에 대해 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 객체 세그멘테이션 마스크가 필요 없이 실세계 이미지에 일반화될 수 있는가?

주요 결과

• RealPoint3D는 합성 및 실세계 데이터셋 모두에서 최신 기술 수준 성능을 달성했으며, 소파 카테고리에서 IoU 점수 0.63을 기록하여 PSGN과 OGN을 능가했다.
• ObjectNet3D 데이터셋에서 RealPoint3D는 PSGN이 객체 마스크가 있음에도 놓친 세부 사항인 벤치 다리와 같은 세부 구조를 성공적으로 복원했다.
• 이 방법은 복잡한 배경과 시점 변화에 대해 강건했으며, 도전적인 케이스에서 기준 방법 대비 뚜렷한 성능 향상을 보였다.
• 제거 실험에서 3D 인코더 브랜치를 포함한 전체 모델(RP3D-v2)이 이를 포함하지 않은 변형(RP3D-v1)보다 성능이 뛰어나, 사전 형상 지식의 유용성을 확인했다.
• CPU에서 이미지당 약 0.1초의 추론 시간을 기록하여, OGN(1.6초)보다 훨씬 빠르고 PSGN과 유사한 속도를 보였다.
• 검색 단계는 가려짐과 시점 변화에 대해 강건했으며, 노이즈가 많거나 혼잡한 입력 이미지에서도 신뢰할 수 있는 형상 매칭을 가능하게 했다.