[논문 리뷰] Semantic Mechanical Search with Large Vision and Language Models

Satvik Sharma, Huang Huang외 5명|arXiv (Cornell University)|2023. 02. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 기계적 탐색을 향상시키기 위해 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 의미적 점유도 분포를 생성하는 프레임워크인 의미 기계적 탐색(Semantic Mechanical Search, SMS)을 제안한다. 의미적 추론을 기하학적 계획과 분리함으로써, 약국, 주방, 사무실 환경에서 시뮬레이션에서 24%, 실제 실험에서 47.1% 향상된 성능을 달성하며, 물체 간 관계에 대한 깊은 의미적 추론을 통해 CLIP 기반 기준선을 능가한다.

ABSTRACT

Moving objects to find a fully-occluded target object, known as mechanical search, is a challenging problem in robotics. As objects are often organized semantically, we conjecture that semantic information about object relationships can facilitate mechanical search and reduce search time. Large pretrained vision and language models (VLMs and LLMs) have shown promise in generalizing to uncommon objects and previously unseen real-world environments. In this work, we propose a novel framework called Semantic Mechanical Search (SMS). SMS conducts scene understanding and generates a semantic occupancy distribution explicitly using LLMs. Compared to methods that rely on visual similarities offered by CLIP embeddings, SMS leverages the deep reasoning capabilities of LLMs. Unlike prior work that uses VLMs and LLMs as end-to-end planners, which may not integrate well with specialized geometric planners, SMS can serve as a plug-in semantic module for downstream manipulation or navigation policies. For mechanical search in closed-world settings such as shelves, we compare with a geometric-based planner and show that SMS improves mechanical search performance by 24% across the pharmacy, kitchen, and office domains in simulation and 47.1% in physical experiments. For open-world real environments, SMS can produce better semantic distributions compared to CLIP-based methods, with the potential to be integrated with downstream navigation policies to improve object navigation tasks. Code, data, videos, and the appendix are available: https://sites.google.com/view/semantic-mechanical-search

연구 동기 및 목표

• 장애물이 있는 환경에서 물체 간 의미적 관계를 활용해 기계적 탐색 성능을 향상시키는 것.
• LLM이 CLIP와 같은 시각-언어 모델보다 물체 탐색 작업에 더 효과적인 의미적 표현을 생성할 수 있는지 조사하는 것.
• 기존 기하학적 계획기와 통합 가능한 플러그인식 의미 모듈을 개발하는 것.
• 폐쇄 세계(알려진 물체 목록)와 개방 세계(미리보지 않은 물체) 환경 모두에서 SMS를 평가하는 것.
• 시각 인식과 의미적 추론을 분리함으로써 탐색 성능 향상이 가능함을 보여주는 것.

제안 방법

• SMS는 장면 내 물체를 식별하기 위해 물체 검출 또는 인스턴스 세그멘테이션을 사용하며, 물체 목록이 없을 경우 이미지 캡션 생성을 적용한다.
• 시각-언어 모델(Vision-Language Model, VLM)을 사용해 시각적 특징을 텍스트 임베딩으로 인코딩하고, 이를 대규모 언어 모델(LLM)이 처리하여 검출된 물체와 목표 간의 의미적 유사도를 추론한다.
• LLM은 물체 간 관계에 대해 추론함으로써 의미적 점유도 분포를 생성한다. 예를 들어, 함께 위치하는 패턴(예: 치약은 칫솔 근처에 있음) 등을 고려한다.
• 이 분포는 후속 기하학적 계획기의 입력으로 사용되며, 핵심 계획 알고리즘을 수정하지 않고도 의미적 인지 기반 기계적 탐색을 가능하게 한다.
• 폐쇄 세계 설정에서는 물체 목록을 사용해 검출 및 캡션 생성을 유도하고, 개방 세계에서는 세그멘테이션과 캡션을 사용해 물체 마스크를 기술한다.
• 프레임워크는 선반과 이동 탐색 작업을 대상으로 시뮬레이션 및 실제 실험을 통해 평가된다.

실험 결과

연구 질문

• RQ1 LLM을 통한 의미적 추론이 장애물이 있는 환경에서 기계적 탐색 성능을 향상시킬 수 있는가?
• RQ2 LLM을 사용해 의미적 점유도 분포를 생성하는 것이 기계적 탐색에서 CLIP 기반 시각-의미 매칭보다 우수한가?
• RQ3 분리된 의미 모듈이 기존 기하학적 계획기와 효과적으로 통합될 수 있는가?
• RQ4 물체 목록이 제공되지 않는 개방 세계 환경에서 SMS의 성능은 어떠한가?
• RQ5 종단 간 VLM 기반 계획과 비교해 언어 임bedded 시각적 특징을 기반으로 LLM이 언어적 관계를 추론할 경우의 영향은 무엇인가?

주요 결과

• SMS는 약국, 주방, 사무실 도메인에서 시뮬레이션에서 기하학적 기반 기준선 대비 24% 향상된 기계적 탐색 성능을 보였다.
• 실제 실험에서는 동일한 기준선 대비 성공률에서 47.1% 향상된 성과를 기록하며 강력한 실제 세계 일반화 능력을 입증했다.
• SMS는 개방 세계 탐색 작업에서 CLIP 기반 방법을 능가했으며, CLIP는 단어 집합의 한계로 '책 더미'를 올바르게 식별하지 못했지만 SMS는 정확히 목표로 삼은 '책 더미'를 식별했다.
• SMS가 생성한 의미 분포는 간섭 요소에 더 강건했다. 예를 들어, CLIP는 '스택'을 기둥과 잘못 연결했지만, SMS는 정확히 책상 영역을 식별했다.
• 시각 인식과 의미적 추론을 LLM을 통해 분리함으로써 종단 간 VLM 기반 계획보다 더 높은 성능을 달성했으며, 이는 LLM이 관계적 의미를 더 잘 포착하기 때문이다.
• 프레임워크는 후속 기하학적 계획기와 성공적으로 통합되어 실제 로봇 시스템에서 호환성과 모ularity를 입증했다.