[논문 리뷰] RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation

Hanxiao Jiang, Binghao Huang외 6명|arXiv (Cornell University)|2024. 02. 23.

Robot Manipulation and Learning인용 수 5

한 줄 요약

RoboEXP는 상호작용적 장면 탐색을 도입하여 행동 조건부 3D 장면 그래프(ACSG)를 구축하고 LMM을 활용하여 보이지 않는 환경에서 로봇 조작을 위한 자율 탐색을 안내합니다.

ABSTRACT

We introduce the novel task of interactive scene exploration, wherein robots autonomously explore environments and produce an action-conditioned scene graph (ACSG) that captures the structure of the underlying environment. The ACSG accounts for both low-level information (geometry and semantics) and high-level information (action-conditioned relationships between different entities) in the scene. To this end, we present the Robotic Exploration (RoboEXP) system, which incorporates the Large Multimodal Model (LMM) and an explicit memory design to enhance our system's capabilities. The robot reasons about what and how to explore an object, accumulating new information through the interaction process and incrementally constructing the ACSG. Leveraging the constructed ACSG, we illustrate the effectiveness and efficiency of our RoboEXP system in facilitating a wide range of real-world manipulation tasks involving rigid, articulated objects, nested objects, and deformable objects.

연구 동기 및 목표

• 장면의 공간 관계와 행동 관련 관계를 모두 인코딩하는 action-conditioned 3D scene graph(ACSG)를 정의한다.
• 지각, 기억, 의사결정, 행동 모듈을 갖춘 RoboEXP를 개발하여 자율적으로 탐색하고 ACSG를 구성한다.
• 메모리 가이드 프레임워크에서 행동 제안 및 검증을 위해 대규모 다중모달 모델(LMM)을 활용한다.
• 다양한 실세계 책상 위 환경과 하위 조작 작업에서 제로샷 일반화를 입증한다.

제안 방법

• ACSG를 객체 노드(의미/기하)와 행동 노드(유형/프리미티브)로 이루어진 방향성 비순환 그래프로 정의하고 객체-객체, 객체-행동, 행동-객체, 행동-행동의 네 가지 간선 유형을 캡처한다.
• 상호작용 탐색을 POMDP에서 영감을 받은 프로세스로 형식화하여 숨겨진 물체를 드러내기 위해 행동을 선택하고 그래프의 성장, 탐색 진행, 시간에 대한 복합 보상으로 ACSG를 점진적으로 구성한다.
• 지각(그라운딩-DINO, SAM-HQ, CLIP 특징), 기억(2D에서 3D 병합, 복셀 기반의 고수준 ACSG 그래프), 의사결정(GPT-4V를 행동 제안자 및 검증자로 활용), 행동(오픈/클로즈/피크/손목 카메라 이동과 같은 휴리스틱 프리미티브) 모듈의 네 가지 구현.
• 명시적 기억을 활용해 시간에 따라 ACSG를 유지 및 업데이트하고, 비가시화 및 동적 변화에 대응하며, 다단계 추론을 위한 재귀/행동 스택 전략을 채택한다.

실험 결과

연구 질문

• RQ1 행동 조건부 장면 그래프가 보이지 않는 환경에서 조작 작업에 필요한 상호작용적 및 공간적 관계를 포착할 수 있는가?
• RQ2 로봇이 자율적으로 탐색하여 완전한 ACSG를 구성하고 미탐색 공간을 최소화할 수 있는가?
• RQ3 강체, 관절형, 중첩형, 변형 가능한 물체를 포함하는 하류 조작 작업을 가능하게 하는 ACSG의 유용성은 무엇인가?
• RQ4 메모리 기반 로봇 탐색 루프에서 LMM이 행동 제안 및 검증을 얼마나 잘 안내하는가?
• RQ5 제로샷으로 실제 환경에 일반화할 수 있는가?

주요 결과

• RoboEXP는 다섯 가지 작업Variant에서 다섯 가지 지표(성공, 물체 회복, 상태 회복, 미탐색 공간, GED)에서 GPT-4V 기준선보다 일관되게 우수하다.
• 시스템은 기준선에 비해 물체 회수 및 상태 회복이 더 높고 미탐색 공간을 크게 줄인다.
• 메모리 가이드 ACSG는 그래프 경로를 따라 행동의 위상적 순서를 통해 대상 물체를 효율적으로 검색하게 한다.
• 행동 스택은 재귀적/다단계 추론(예: 마트료시카 인형)을 지원하며, 게리 디 reset 전략을 통해 장면 일관성을 유지한다.
• 다양한 물체(강체, 관절형, 중첩형, 변형 가능)를 포함하는 실제 하드웨어 실험은 제로샷 일반화 및 강력한 상호작용 탐색을 입증한다.
• GED 점수는 RoboEXP가 기준선보다 일관되게 낮아(더 좋음) Ground-truth 장면 그래프와의 정렬이 더 가깝다.