[논문 리뷰] RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction

Yinyu Nie, Ji Hou외 2명|arXiv (Cornell University)|2020. 11. 30.

3D Shape Modeling and Analysis참고 문헌 68인용 수 8

한 줄 요약

RfD-Net는 원시 포인트 클라우드에서 직접 3D 객체를 검출하고 조밀한 메시를 재구성하는 데 중점을 두어 글로벌 로컬라이제이션과 로컬 형태 예측을 분리하는 새로운 엔드 투 엔드 프레임워크이다. 스위프 프로파게이션 모듈과 암묵적 함수 학습을 활용하여 최신 기술 수준의 성능을 달성하며, 이전 방법 대비 메시 IoU를 11% 이상 향상시키고 여러 백본에서 일관되게 3D 검출 정확도를 향상시킨다.

ABSTRACT

Semantic scene understanding from point clouds is particularly challenging as the points reflect only a sparse set of the underlying 3D geometry. Previous works often convert point cloud into regular grids (e.g. voxels or bird-eye view images), and resort to grid-based convolutions for scene understanding. In this work, we introduce RfD-Net that jointly detects and reconstructs dense object surfaces directly from raw point clouds. Instead of representing scenes with regular grids, our method leverages the sparsity of point cloud data and focuses on predicting shapes that are recognized with high objectness. With this design, we decouple the instance reconstruction into global object localization and local shape prediction. It not only eases the difficulty of learning 2-D manifold surfaces from sparse 3D space, the point clouds in each object proposal convey shape details that support implicit function learning to reconstruct any high-resolution surfaces. Our experiments indicate that instance detection and reconstruction present complementary effects, where the shape prediction head shows consistent effects on improving object detection with modern 3D proposal network backbones. The qualitative and quantitative evaluations further demonstrate that our approach consistently outperforms the state-of-the-arts and improves over 11 of mesh IoU in object reconstruction.

연구 동기 및 목표

• 격자 기반 딥러닝 방법의 사용을 방해하는 흩어진 불규칙한 포인트 클라우드에서의 의미적 장면 이해 과제를 해결하기 위해.
• 희박한 포인트 클라우드에서 고해상도 암묵적 표면 학습을 가능하게 하여 3D 형태 재구성의 해상도 한계를 극복하기 위해.
• 3D 객체 검출과 형태 재구성 간의 상호보완적 학습 루프를 구축하여 양자 모두의 성능 향상에 기여하기 위해.
• 바벨라이제이션 또는 2D 이미지 투영에 의존하지 않고 인스턴스 수준의 의미, 자세 및 완전한 메시를 직접 예측할 수 있는 프레임워크를 개발하기 위해.
• 다양한 3D 검출 백본과 다양한 입력 희박성에서 공동 학습의 효과를 입증하기 위해.

제안 방법

• RfD-Net는 3D 인스턴스 검출과 조밀한 표면 재구성을 분리하는 재구성-검출 파라다임을 사용한다.
• 고객체성(객체 존재 가능성)을 가진 객체 제안을 생성하기 위해 3D 프로포절 네트워크(예: VoteNet)를 사용하며, 이를 로컬 형태 예측의 입력으로 활용한다.
• 스위프 프로파게이션 모듈은 각 검출된 객체 주변의 포인트 클러스터로 제안 특징을 전달하여 공간적 맥락을 고려한 국소적 형태 생성을 가능하게 한다.
• 형태 생성기에서는 다층 퍼셉트론(예: MLP)과 같은 암묵적 신경 표현을 사용하여 국소 포인트 클러스터에서 고해상도 메시를 예측한다.
• 객체성 드롭아웃은 저신뢰도 제안을 필터링하여 형태 학습에 의미 있는 포인트 클러스터만 사용하도록 보장한다.
• 검출 및 재구성 목표를 통합한 공동 손실을 사용하여 엔드 투 엔드로 학습함으로써 상호보완적 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립적인 학습 대비 3D 검출과 형태 재구성의 공동 학습이 양자 모두의 성능 향상에 기여하는가?
• RQ2 원시 포인트 클라우드에서 조밀한 메시를 직접 예측하는 것이 바벨라이제이션 또는 이미지 기반 기준보다 3D 인스턴스 재구성에서 우월한가?
• RQ3 제안된 스위프 프로파게이션 모듈이 재구성된 표면 품질과 검출 정확도에 어떤 영향을 미치는가?
• RQ4 입력 포인트 클라우드의 희박성 변화와 다양한 3D 검출 백본 아키텍처에 대해 이 방법이 얼마나 강인한가?
• RQ5 형태 예측 헤드가 다양한 3D 검출 네트워크에서 검출 성능을 향상시킬 수 있는가, 반대로 검출 네트워크가 형태 예측 성능에 기여할 수 있는가?

주요 결과

• VoteNet을 백본으로 사용할 때 3D 검출 벤치마크에서 35.10 mAP를 기록하여 베이스라인 대비 2.42 포인트 향상시켰다.
• 객체 재구성에서 최신 기술 수준의 방법 대비 메시 IoU를 11% 이상 향상시켜 뛰어난 기하학적 정밀도를 입증했다.
• 다양한 백본에서 형태 예측 헤드와의 공동 학습이 일관되게 3D 검출 성능을 향상시켰으며, BoxNet(+2.48 mAP), MLCVNet(+1.37 mAP), VoteNet+DGCNN(+2.42 mAP)에서 모두 개선을 보였다.
• 희박한 입력에서도 강력한 성능 유지를 보였으며, 단지 20,000개의 입력 포인트로도 33.89 mAP와 14.39%의 메시 IoU를 달성했다.
• 제거 실험 결과 스위프 프로파게이션 모듈과 포인트 노이즈 제거가 가장 우수한 성능을 내며, 제안 특징이나 포인트 클러스터를 생략한 구성보다 뛰어난 성능을 보였다.
• 다양한 객체성 임계값에서 일관된 향상이 관찰되었으며, 학습 품질과 효율성을 균형 잡는 데 최적의 성능을 내기 위해 N_d = 10에서 최적화되었다.