[논문 리뷰] OpenScene: 3D Scene Understanding with Open Vocabularies

Songyou Peng, Kyle Genova외 4명|arXiv (Cornell University)|2022. 11. 28.

Advanced Image and Video Retrieval Techniques인용 수 10

한 줄 요약

OpenScene는 CLIP의 시각-언어 특징 공간에서 3D 포인트 클라우드 특징을 텍스트 및 이미지 픽셀과 함께 공동 임bedding하는 제로샷, 작업 무관 접근 방식을 통해 3D 장면 이해를 가능하게 한다. 이는 레이블이 부여된 3D 데이터가 없이도 '부드러운 표면', '기능성', '실내 유형'과 같은 열린 어휘 쿼리—예를 들어, 3D 세분화의 최신 기술 수준 성능을 달성하며, 텍스트 기반 3D 객체 검색 및 장면 탐색과 같은 새로운 응용 프로그램을 가능하게 한다.

ABSTRACT

Traditional 3D scene understanding approaches rely on labeled 3D datasets to train a model for a single task with supervision. We propose OpenScene, an alternative approach where a model predicts dense features for 3D scene points that are co-embedded with text and image pixels in CLIP feature space. This zero-shot approach enables task-agnostic training and open-vocabulary queries. For example, to perform SOTA zero-shot 3D semantic segmentation it first infers CLIP features for every 3D point and later classifies them based on similarities to embeddings of arbitrary class labels. More interestingly, it enables a suite of open-vocabulary scene understanding applications that have never been done before. For example, it allows a user to enter an arbitrary text query and then see a heat map indicating which parts of a scene match. Our approach is effective at identifying objects, materials, affordances, activities, and room types in complex 3D scenes, all using a single model trained without any labeled 3D data.

연구 동기 및 목표

• 레이블이 부여된 3D 데이터셋에 의존하지 않고도 열린 어휘 3D 장면 이해를 가능하게 하기 위해.
• 사용자가 3D 장면을 물리적 성질, 재질, 기능, 기능성 등에 대해 임의의 텍스트 또는 이미지 프롬프트로 쿼리할 수 있도록 하기 위해.
• 단일 제로샷 프레임워크를 사용해 다양한 장면 이해 작업을 지원하는 통합 모델을 개발하기 위해.
• 고정된 닫힌 클래스 세트에 제한되는 전통적인 지도 학습 3D 세분화 모델의 한계를 극복하기 위해.
• 사전 훈련된 CLIP 임베딩을 활용해 강력하고 일반화 가능한 3D 장면 이해가 가능한지 입증하기 위해.

제안 방법

• 하이브리드 2D-3D 네트워크 아키텍처를 사용해 CLIP의 공유 특징 공간에서 3D 포인트 특징, 이미지 픽셀, 텍스트를 공동 임베딩한다.
• 3D 포인트를 포즈가 지정된 RGB 이미지로 역투영함으로써 3D-2D 대응 관계를 설정하고, 다중 시점 픽셀 특징을 집계한다.
• 대비 손실을 사용해 3D 포인트 특징이 집계된 2D 픽셀 특징과 일치하도록, 희소 3D 컨volutional 네트워크를 훈련한다.
• 최종 3D 포인트 특징은 융합된 2D 특징과 3D 네트워크의 출력을 조합한 것으로, 기하학적 특징과 외관 정보를 모두 반영한다.
• 특징 추출 후, 3D 포인트 특징과 텍스트 또는 이미지 프롬프트의 CLIP 임베딩 간 코사인 유사도를 계산해 열린 어휘 쿼리를 수행한다.
• 재훈련 없이도 '부드러운', '뜨거운', '플레이 가능한'과 같은 속성과 같은 임의의 텍스트나 이미지 프롬프트에 대해 제로샷 추론을 지원한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CLIP 특징만을 사용해 레이블이 부여된 3D 데이터가 전혀 없이도 3D 장면 이해를 달성할 수 있는가?
• RQ2 단일 모델이 재질 특성, 기능성, 기능성과 같은 다양한 열린 어휘 쿼리를 지원할 수 있는가?
• RQ3 많은 클래스 레이블을 가진 작업에서 이 제로샷 접근 방식의 성능이 완전히 지도 학습 모델과 비교해 어떻게 되는가?
• RQ4 재훈련 없이도 다른 레이블 세트를 가진 새로운 데이터셋에 일반화할 수 있는가?
• RQ5 텍스트 기반 3D 객체 검색 및 상호작용 가능한 장면 탐색과 같은 새로운 응용 프로그램을 가능하게 할 수 있는가?

주요 결과

• OpenScene는 표준 벤치마크에서 제로샷 3D 세분화 성능을 최신 기술 수준으로 달성했으며, 40, 80, 또는 160개 클래스가 있는 작업에서 완전히 지도 학습된 모델보다 뛰어난 성능을 보였다.
• 모델은 '부드러운', '주방', 또는 '일하는'과 같은 임의의 텍스트 프롬프트를 성공적으로 검색하여 일치하는 영역의 정확한 히트맵을 생성했다.
• 10개의 희귀 물체 카테고리에 대해, 첫 번째 실수 이전에 100% 정밀도로 나머지 모든 참값 인스턴스를 검색했으며, 강력한 열린 어휘 검색 능력을 입증했다.
• 모델은 지도 레이블링에서 정확히 표시되지 않은 26개의 인스턴스를 식별했으며, 이 중 13개는 전화기로, 수동 레이블링보다도 희귀하거나 모호한 인스턴스를 더 잘 식별할 수 있음을 시사한다.
• 이미지 기반 3D 객체 검출이 성공적으로 구현되었으며, 풀 테이블이나 식탁과 같은 객체들이 이미지 프롬프트 기반으로 정확히 식별되었다.
• 표준 지도 학습 방법으로는 구현이 불가능한 새로운 응용 프로그램—예를 들어 물리적 성질('뜨거운', '편안한'), 재질, 잠재적 활동('플레이')에 대한 쿼리—를 가능하게 했다.