Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] <b>D</b>ataset for <b>O</b>pen <b>V</b>ocabulary <b>E</b>ntity <b>G</b>rounding (DOVE-G)

Haonan Chang, Kowndinya Boyalakuntla|arXiv (Cornell University)|2023. 01. 01.
Multimodal Machine Learning Applications인용 수 4
한 줄 요약

이 논문은 3D 환경에서 자유형 텍스트 쿼리로 맥락 인식 엔티티 기반을 위한 새로운 프레임워크인 오픈 뷰어티 3D 색인 그래프(OVSG)를 소개한다. 오픈 뷰어티 검출과 공간 관계 및 특성 정보를 인코딩한 3D 색인 그래프를 조합함으로써, 기존 방법에 비해 더 뛰어난 성능을 달성하였으며, 특히 미사전 정의된 카테고리나 복잡한 쿼리 처리에서 뛰어난 성능을 보였다. 이는 ScanNet, ICL-NUIM 및 새로운 DOVE-G 데이터셋(8개 시나리오에서 4,000개 쿼리)을 통해 검증되었다.

ABSTRACT

<b>DOVE-G</b>To accommodate the richness of open-vocabulary queries, we introduced a custom dataset—DOVE-G (Dataset for Open-Vocabulary Entity Grounding). This dataset has 8 scenes namely kitchen, kitchenette, room1, room2, room3, bathroom, computer lab, and hallway. This dataset is created to facilitate users to query for objects within a scene using natural language. For each scene within DOVE-G, we manually labeled the ground truth and created 50 natural language queries (<i>L</i><sub><em>q</em></sub> ). To augment this query set, we harnessed LLMs to generate four additional sets of natural language queries. This approach yielded a total of 250 queries for each scene, and cumulatively, we have 4000 queries to evaluate OVSG’s performance. With this setup, we set out to assess how our OVSG framework performs with open-vocabulary queries, one of our key research questions, providing a critical testbed for its effectiveness in handling diverse natural language expressions.

연구 동기 및 목표

  • 정의되지 않은 또는 사전 정의되지 않은 의미 카테고리, 특성 또는 관계가 존재할 경우 3D 환경에서 엔티티 기반을 수행하는 데 도전 과제를 해결한다.
  • 예를 들어 '주방 테이블 위의 컵을 들어오세요' 또는 '누군가 앉아 있는 소파로 이동하세요'와 같은 자유형 자연어 쿼리를 사용하여 맥락 인식 기반의 엔티티 기반을 가능하게 한다.
  • 고정 어휘를 초월하는 오픈 뷰어티 쿼리 지원을 통해 실생활 로봇 주행 및 조작을 위한 확장성 있고 실용적인 시스템을 개발한다.
  • 8개의 실생활 실내 환경에서 다양하고 맥락이 풍부한 쿼리 4,000개를 포함한 새로운 벤치마크 데이터셋인 DOVE-G를 구축하여 오픈 뷰어티 기반 평가를 지원한다.
  • 복잡하고 동적인 환경에서의 실생활 로봇 주행 및 조작 실험을 통해 프레임워크의 실용성을 입증한다.

제안 방법

  • 엔티티(물체, 에이전트, 영역 등)를 노드로, 공간적/세미틱적 관계를 간선으로 표현하는 오픈 뷰어티 3D 색인 그래프(OVSG)를 구성하며, 색상, 재질, 기능성 등 특성을 포함한다.
  • 제로샷 일반화 기능을 통해 미사전 카테고리에 대응할 수 있는 오픈 뷰어티 비전-언어 모델(예: CLIP 기반 Detic 및 OVIR-3D)을 통합하여 3D 물체 인스턴스를 검출하고 임베딩한다.
  • 3D 글로벌 데이터 연동을 통해 2D 검출 결과(예: OVIR-3D에서 유도)를 3D 환경에 융합하여 각 인스턴스에 고유한 특징과 공간적 맥락을 할당한다.
  • 쿼리를 자연어 입력으로 표현하고, 비전-언어 인코더를 사용해 이를 셔츠 그래프의 노드 및 간선과 정렬한다.
  • 쿼리 임베딩과 색인 그래프 간의 크로스 어텐션을 계산하여 유사도 점수 기반으로 가장 관련성이 높은 엔티티를 선택함으로써 기반을 수행한다.
  • 속도와 정확도의 균형을 맞추기 위해 다중 스케일 추론 전략(OVSG-J, OVSG-S, OVSG-L)을 적용하며, OVSG-L은 전체 특징 융합 및 맥락 추론을 사용한다.
Figure 1: This is an illustration of the proposed pipeline. The system inputs are the positional input $P_{u}$ , user input $L_{u}$ , RGBD Scan $I$ , and a query language $L_{q}$ . The top section depicts the construction of $G_{s}$ . Both $P_{u}$ and $L_{u}$ are directly fed into $G_{s}$ . The RGBD
Figure 1: This is an illustration of the proposed pipeline. The system inputs are the positional input $P_{u}$ , user input $L_{u}$ , RGBD Scan $I$ , and a query language $L_{q}$ . The top section depicts the construction of $G_{s}$ . Both $P_{u}$ and $L_{u}$ are directly fed into $G_{s}$ . The RGBD

실험 결과

연구 질문

  • RQ13D 색인 그래프 표현 방식이, 사전 정의되지 않은 카테고리나 복잡한 공간 관계를 포함한 자유형 오픈 뷰어티 쿼리에 대해 맥락 인식 기반 엔티티 기반을 지원할 수 있는가?
  • RQ2오픈 뷰어티 검출을 3D 색인 그래프와 융합함으로써, 최신의 의미 기반 국소화 방법에 비해 기반 정확도가 얼마나 향상되는가?
  • RQ3제안된 프레임워크가 훈련 데이터에 존재하지 않는 새로운 물체 카테고리나 새로운 관계에 대해 얼마나 잘 일반화되는가?
  • RQ4의도적으로 모호하거나 맥락 의존적인 쿼리가 포함된 실생활 로봇 주행 및 조작 작업에서 이 시스템의 효과성은 어떠한가?
  • RQ5다양한 3D 환경과 IoU 임계치에서, ConceptFusion 및 OVIR-3D와 같은 베이스라인에 비해 OVSG의 성능 향상 정도는 어떠한가?

주요 결과

  • Office_room_traj0_frei_png 환경에서 29개 쿼리에 대해 IoU > 0.15 기준으로 OVSG-L은 100%의 3D 기반 성공률를 기록하였으며, 이는 ConceptFusion(0%) 및 OVIR-3D(65.52%)를 크게 앞서는 성과이다.
  • Living_room_traj3_frei_png 환경에서 17개 쿼리에 대해 IoU > 0.15 기준으로 82.36%의 성공률, IoU > 0.25 기준으로 64.71%의 성공률를 기록하였으며, 이는 ConceptFusion가 완전히 실패한(0% 성공률) 것과 대비된다.
  • Office_room_traj0_frei_png 및 office_room_traj1_frei_png 환경 전역에서 IoU > 0.15 기준으로 OVSG-L은 모든 시나리오에서 100% 성공률를 기록하여 복잡한 실내 환경에서도 뛰어난 강건성을 입증하였다.
  • DOVE-G 데이터셋은 8개의 고유한 실내 환경에서 총 4,000개의 쿼리를 포함하며, 각 환경당 50개의 다양한 맥락이 풍부한 쿼리가 포함되어 있으며, 복잡한 공간적 및 관계적 묘사가 포함되어 있다.
  • ICL-NUIM의 '물체 전용' 및 '전체 쿼리' 카테고리에서, OVSG-L은 모든 IoU 임계치(0.15, 0.25, 0.5, 0.75)에서 OVIR-3D 및 ConceptFusion를 모두 압도하였으며, 특히 문장 전체를 포함한 쿼리 처리에서 뛰어난 성능을 보였다.
  • 정성적 결과 분석을 통해 OVSG-L은 '사람 근처의 테이블 위의 컵'과 같은 복잡하고 모호한 쿼리에서도 정확하게 엔티티를 기반으로 하는 것을 확인하였으며, 이는 ConceptFusion가 맥락 모델링 부족으로 자주 실패하는 것과 대비된다.
Figure 2: Architecture of spatial-language encoder and predictor. The blue block is the spatial pose encoder, and the yellow block is the spatial relationship predictor.
Figure 2: Architecture of spatial-language encoder and predictor. The blue block is the spatial pose encoder, and the yellow block is the spatial relationship predictor.

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.