[논문 리뷰] FroDO: From Detections to 3D Objects

Kejie Li, Martin Rünz외 9명|arXiv (Cornell University)|2020. 05. 11.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 13

한 줄 요약

FroDO는 2D 검출 정제, 딜레르트 과정 기반 선분 클러스터링, 공유된 딥SDF 및 포인트 클라우드 오토에인코더를 사용한 밀도 최적화를 조합하여 단일 RGB 이미지에서 3D 객체 재구성에 대한 새로운 프레임워크를 제안한다. 이 방법은 Redwood-OS 데이터셋에서 평균 10.57cm의 체이밍 거리로 최신 기술을 초월하는 정확도를 달성하며, 이전 방법들보다 빠르고 오clusion에 더 강건하다.

ABSTRACT

Object-oriented maps are important for scene understanding since they jointly capture geometry and semantics, allow individual instantiation and meaningful reasoning about objects. We introduce FroDO, a method for accurate 3D reconstruction of object instances from RGB video that infers object location, pose and shape in a coarse-to-fine manner. Key to FroDO is to embed object shapes in a novel learnt space that allows seamless switching between sparse point cloud and dense DeepSDF decoding. Given an input sequence of localized RGB frames, FroDO first aggregates 2D detections to instantiate a category-aware 3D bounding box per object. A shape code is regressed using an encoder network before optimizing shape and pose further under the learnt shape priors using sparse and dense shape representations. The optimization uses multi-view geometric, photometric and silhouette losses. We evaluate on real-world datasets, including Pix3D, Redwood-OS, and ScanNet, for single-view, multi-view, and multi-object reconstruction.

연구 동기 및 목표

• 제한된 감독 신호 하에 단일 시야 RGB 이미지에서 정확한 3D 객체 형상을 재구성하는 문제를 해결하기 위해.
• 3D 최적화 이전에 잡음이 많거나 모호한 2D 검출을 걸러내어 재구성 품질을 향상시키기 위해.
• 공유된 잠재 코드 공간 내에서 흩어진 표현과 밀도 있는 표현을 조합하여 효율적이고 강건한 3D 형상 최적화를 가능하게 하기 위해.
• 적응형 샘플링과 피라미드 기반 최적화를 통해 계산 비용을 줄이고 정확도를 유지하기 위해.
• Redwood-OS 데이터셋에 수동으로 세그먼트된 3D 객체 형상을 추가하여 실제 환경 기반 벤치마크를 제공하기 위해.

제안 방법

• 2D 검출 정제는 경계 상자 크기, 오염도(이차 상관도 기반), 다른 객체와의 겹침을 기준으로 적용되며, 낮은 품질의 검출을 거부하기 위해 임계값을 설정한다.
• 디릴레르트 과정(DP)-평균 클러스터링은 사전에 클러스터 수를 알 필요 없이 3D 선분을 객체 클러스터로 그룹화하며, 거리 임계값 0.4를 사용한다.
• 포인트 클라우드 및 딥SDF 표현 모두에 공유 64차원 잠재 코드 공간을 사용하여 공동 최적화와 효율적인 형상 재구성을 가능하게 한다.
• 사슬 법칙과 SDF 기울기의 의사역행렬을 사용하여 분석적 부분 도함수를 유도함으로써 ∂x/∂z를 계산하고, 최적화 중 표면 좌표 갱신을 미분 가능하게 한다.
• 밀도 최적화는 절단 인자 δ를 사용한 적응형 샘플링, 객체 경계 근처의 높은 해상도, 그리고 효율적인 렲영 및 기울기 계산을 위한 메시 프록시를 사용한다.
• 다중 해상도 피라미드 기반 방법을 사용하여 수렴 속도를 가속화하고 메모리 사용량을 줄이며, 초기화가 불량한 경우에도 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 경계 상자 투영을 통한 2D 검출 필터링이 초기 3D 형상 추정 품질을 향상시키는가?
• RQ2 노이즈가 많거나 완전하지 않은 검출에 대해 딜레르트 과정 기반 클러스터링이 고정 K 클러스터링보다 얼마나 강건한가?
• RQ3 포인트 클라우드 및 SDF 표현에 대한 공동 최적화가 재구성 정확도와 효율성에 얼마나 기여하는가?
• RQ4 적응형 샘플링과 피라미드 기반 최적화가 정확도를 희생시키지 않고 런타임을 크게 줄일 수 있는가?
• RQ5 제안된 방법은 지표 3D 형상이 있는 실제 환경의 다중 시야 RGBD 시퀀스에서 어떻게 성능을 발휘하는가?

주요 결과

• Redwood-OS에서의 분석 실험 결과, 3D 경계 상자 투영을 통한 오염된 시야 필터링이 평균 체이밍 거리를 12.17cm에서 10.57cm로 감소시킴을 확인하였다.
• 제안된 방법은 Redwood-OS 데이터셋에서 평균 체이밍 거리 10.57cm를 달성하여 이전 방법들보다 뛰어난 정확도를 입증하였다.
• 희소 최적화 단계는 1회 반복당 0.07초가 소요되며, PMO(12.59초/회)보다 두 개의 주기 빠르고, 밀도 최적화(4.96초/회)보다도 더 빠르다.
• 공동 임베딩 아키텍처는 기하학적 및 위상적 세부 정보를 표현 간에 유지하는 64D 공유 코드 공간을 학습함으로써 효과적인 형상 재구성을 가능하게 한다.
• Redwood-OS 데이터셋에서의 정성적 결과는 FroDO가 희소 COLMAP, 밀도 있는 COLMAP, KinectFusion보다 더 정확하고 완전한 3D 재구성을 생성한다는 것을 보여준다.
• ∂Gd/∂z의 시각화 결과, 개별 코드 성분의 변화가 객체의 여러 영역에 영향을 미치며, 모델이 형상 코드 변동에 민감함을 확인하였다.