[논문 리뷰] ConceptFusion: Open-set Multimodal 3D Mapping

Krishna Murthy Jatavallabhula, Alihusein Kuwajerwala외 15명|arXiv (Cornell University)|2023. 02. 14.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

ConceptFusion는 기초 모델(예: CLIP, AudioCLIP)의 픽셀 정렬 특징을 표준 SLAM 및 다중 시점 융합을 통해 3D 지ap에 융합하는 새로운 오픈세트, 다중모odal 3D 지ap 프레임워크를 제안한다. 이는 재학습 없이도 제로샷, 다중모달 쿼리(텍스트, 이미지, 오디오, 클릭)를 지원하며, 3D IoU가 장기적 개념에서 초과 40% 향상되어 오픈보드 3D 장면 이해 분야에서 최고 성능을 달성한다.

ABSTRACT

Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approaches that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is (1) fundamentally open-set, enabling reasoning beyond a closed set of concepts and (ii) inherently multimodal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today's foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping. For more information, visit our project page https://concept-fusion.github.io or watch our 5-minute explainer video https://www.youtube.com/watch?v=rkXgws8fiDs

연구 동기 및 목표

• 기존의 고정된 닫힘세트 의미 개념에 국한되지 않고, 3D 지도에서 더 넓은 의미적 추론을 가능하게 하여, 전통적인 닫힘세트 의미 지도의 한계를 해결한다.
• 자연어, 이미지, 오디오, 3D 기하학 등 다양한 입력을 활용해 3D 지도에 다중모달 쿼리를 지원함으로써 인간-로봇 상호작용의 유연성을 높인다.
• 기초 모델에서 유래한 픽셀 정렬 특징(원래는 전역 이미지 임베딩을 위해 설계됨)을 재학습 없이도 3D 지도에 융합한다.
• 로봇 작업(예: 조작, 주행, 자율주행)에 대한 실제 및 시뮬레이션 환경에서 오픈세트 및 다중모달 조건 하에서 시스템 성능을 평가한다.
• 78종의 일반적인 물체와 50만+개의 다중모달 쿼리가 포함된 새로운 RGB-D 벤치마크인 UnCoCo 데이터셋을 제안한다.

제안 방법

• 먼저 인스턴스 세그멘테이션을 통해 클래스 무관 객체 마스크를 생성한 후, 잘라낸 영역에서 국소 영역 특징을 계산함으로써 기초 모델에서 픽셀 정렬 특징을 추출한다.
• 각 영역의 국소 특징 벡터는 시각 인코더(예: CLIP)를 사용해 계산되며, 동시에 전역 이미지 특징도 추출되어 맥락 정보를 확보한다.
• 이러한 국소 및 전역 특징은 표준 표면 융합 기법을 사용해 3D 지도에 융합되며, 기초 모델 특징을 추가 모odal 채널로 간주한다.
• 결과로 생성된 3D 지도는 임베딩 공간 내 특징 유사도를 기반으로 제로샷 쿼리가 가능하며, 모델 재학습 없이도 교차모달 검색이 가능하다.
• 공간 추론 쿼리(예: '사과가 테이블 위에 있는가?')는 텍스트-davinci-003와 같은 대규모 언어 모델을 활용해 기초 3D 공간 비교 연산자 집합에 조건화된 기능 서명으로 파싱된다.
• 시스템은 3D 재구성에 기존의 SLAM 파이프라인을 활용하며, 표면 융합 과정에서 기초 모델 특징을 추가 의미 채널로 통합한다.

Figure 2 : ConceptFusion constructs pixel-aligned features $\textbf{f}^{\hskip 0.63004ptP}$ by: processing input images to generate generic (class-agnostic) object masks (regions) $r_{i}$ , computing a bounding box for each region and extracting a local feature vector $\textbf{f}^{\hskip 0.63004ptL}

실험 결과

연구 질문

• RQ1 기초 모델 특징는 원래 전역 이미지 임베딩을 위해 설계되었지만, 3D 지도에 적합한 픽셀 정렬 국소 표현을 효과적으로 도출할 수 있는가?
• RQ2 이러한 픽셀 정렬 특징은 재학습 없이도 텍스트, 이미지, 오디오, 클릭과 같은 제로샷 다중모달 쿼리에 활용 가능한가?
• RQ3 기초 모델 기반 오픈세트 3D 지도의 성능은 특히 장기적 개념에서 보조 학습 또는 미세조정된 방법보다 어떻게 비교되는가?
• RQ4 시스템은 오픈세트 및 다중모달 조건 하에서 실제 로봇 작업(테이블탑 조작, 자율주행 등)에 얼마나 잘 일반화되는가?
• RQ5 대규모 언어 모델을 통한 자연어 공간 쿼리 파싱은 얼마나 효과적인가? 즉, 자연어 공간 질문을 실행 가능한 3D 공간 비교 함수로 정확하게 매핑할 수 있는가?

주요 결과

• ConceptFusion는 장기적 개념에서 보조 학습 기반 베이스라인 대비 3D IoU가 40% 이상 높아 오픈세트 환경에서 뛰어난 일반화 성능을 입증한다.
• 텍스트, 이미지, 오디오, 3D 기하학을 활용한 제로샷 다중모달 쿼리가 가능하며, 추가 학습이나 미세조정이 필요하지 않다.
• 기초 모델에서 유도된 픽셀 정렬 특징는 훈련된 또는 보조 학습된 대비 희귀하고 다양한 개념을 3D 지도에서 더 잘 포착한다.
• LLM 기반 쿼리 파서는 100개의 테스트 쿼리 중 100%를 정확히 해석하여 자연어 공간 질문을 실행 가능한 3D 공간 비교 함수로 매핑했다.
• ScanNet, Replica, AI2-THOR와 같은 실제 데이터셋 및 시뮬레이션 환경에서의 평가를 통해 다양한 장면과 물체 유형에서의 강건성과 일반화 능력을 확인했다.
• 78종의 가정용 물체와 50만+개의 다중모달 쿼리가 포함된 UnCoCo 데이터셋은 오픈세트 3D 지도 시스템의 종합적 벤치마킹을 가능하게 한다.

Figure 3 : For each image, the global ( $\textbf{f}^{\hskip 0.63004ptG}$ ) and local ( $\textbf{f}^{\hskip 0.63004ptL}$ ) features are fused to obtain our pixel-aligned features ( $\textbf{f}^{\hskip 0.63004ptP}$ ). Top-Left: We first compute cosine similarities between each local feature ( $\textbf