[논문 리뷰] StructFormer: Learning Spatial Structure for Language-Guided Semantic Rearrangement of Novel Objects

Weiyu Liu, Chris Paxton외 2명|arXiv (Cornell University)|2021. 10. 19.

Robot Manipulation and Learning인용 수 7

한 줄 요약

이 논문은 공간적 구조와 다중 객체 상관관계 제약 조건을 함께 고려하여 언어 지시에 따라 새로운 물체의 의미적 재배열을 계획하는 트랜스포머 기반 모델인 StructFormer을 제안한다. 이는 원형이나 식탁 정리와 같은 복잡한 배열을 시뮬레이션할 때 58%의 성공률을 기록하며, 쌍방향 관계 기반 베이스라인보다 복잡한 구조에서 52% 높고, 간섭 물체의 오염 조작을 19% 줄였다.

ABSTRACT

Geometric organization of objects into semantically meaningful arrangements pervades the built world. As such, assistive robots operating in warehouses, offices, and homes would greatly benefit from the ability to recognize and rearrange objects into these semantically meaningful structures. To be useful, these robots must contend with previously unseen objects and receive instructions without significant programming. While previous works have examined recognizing pairwise semantic relations and sequential manipulation to change these simple relations none have shown the ability to arrange objects into complex structures such as circles or table settings. To address this problem we propose a novel transformer-based neural network, StructFormer, which takes as input a partial-view point cloud of the current object arrangement and a structured language command encoding the desired object configuration. We show through rigorous experiments that StructFormer enables a physical robot to rearrange novel objects into semantically meaningful structures with multi-object relational constraints inferred from the language command.

연구 동기 및 목표

• 로봇이 원형, 선형, 탑, 식탁 정리와 같은 복잡하고 의미적으로 유의미한 공간적 구조로 새로운 물체를 재배열할 수 있도록 하는 것.
• 예상치 못한 물체와 간섭 물체가 있는 비정형 환경에서 언어 지시에 기반한 조작 도전 과제를 해결하는 것.
• 쌍방향 공간 관계에 의존하는 것이 아니라 다중 객체 상관관계 제약 조건을 고려하여 추론하는 계획 시스템을 개발하는 것.
• 물체 유형과 구조에 관계없이 일반화할 수 있도록, 물체별 모델이나 광범위한 재프로그래밍 없이도 기능하도록 하는 것.
• 모델의 실세계 적용 가능성을 입증하기 위해 시뮬레이션과 실제 로봇에서의 검증을 수행하는 것.

제안 방법

• StructFormer는 현재 물체 배열의 3D 포인트 클라우드와 목표 구성에 대한 구조적 언어 명령어를 동시에 인코딩하기 위해 트랜스포머 인코더를 사용한다.
• 모델은 언어 명령어의 참조 표현(직접적 및 관계적 참조 포함)을 기반으로 이동할 물체를 예측한다.
• 자기연쇄적 트랜스포머 디코더가 각 선택된 물체의 목표 3D 자세를 생성하여 물체 배치를 순차적으로 예측한다.
• 335개의 실제 세계 물체 모델을 사용하여 4개의 구조(원형, 선형, 탑, 식탁 정리)로 구성된 절차적 생성 데이터셋을 활용해 아키텍처를 훈련한다.
• 물체 선택과 자세 생성은 분리되어 있다: 물체 선택기(선택기)는 관련 물체를 식별하고, 자세 생성기(계획기)는 그들의 공간적 배열을 계획한다.
• 시스템은 RGB-D 센서를 갖춘 Franka Panda 로봇에 구현되었으며, 학습된 잡기 방법과 RRT-connect를 사용한 운동 계획을 적용한다.

실험 결과

연구 질문

• RQ1 신경망이 다중 객체 공간 관계와 언어 명령어를 동시에 고려하여 새로운 물체의 유효한 의미적 재배열을 생성할 수 있는가?
• RQ2 원형, 식탁 정리와 같은 복잡한 공간 구조를 모델링하는 것이 쌍방향 공간 관계에 의존하는 것과 비교해 성공률과 내성성 측면에서 어떻게 다른가?
• RQ3 재학습 없이도 새로운 물체와 예측 불가능한 배열에 얼마나 잘 일반화할 수 있는가?
• RQ4 재배열 과정에서 간섭 물체의 의도치 않은 조작을 얼마나 효과적으로 줄일 수 있는가?
• RQ5 실세계 비정형 환경에서 실제 로봇에서 신뢰할 수 있는 성능을 달성할 수 있는가?

주요 결과

• 전체 시스템은 156개의 테스트 환경에서 시뮬레이션에서 37%의 성공률을 기록했으며, 156개 중 58개(37%)가 목표 의미적 구조를 성공적으로 형성했다.
• 다중 물체 추론이 필요한 복잡한 구조(원형 및 식탁 정리)에서는 Binary 기반 모델 대비 52% 높은 성과(112개의 성공 중 58개)를 기록했다.
• 간단한 구조(선형 및 탑)에서는 Binary 기반 모델 대비 15% 높은 성공률(95개 추가 성공 중 14개)을 기록했다.
• 간섭 물체의 평균 조작 횟수는 19% 감소(1회 에피소드당 0.17 대 0.21)하여 혼잡한 환경에서 더 나은 관련성 필터링 능력을 보였다.
• 실제 로봇 실험에서는 시스템이 실제 세계의 Franka Panda 로봇에서 재배열을 성공적으로 수행했으며, 실패 원인은 주로 물체 인식 오류와 도달 불가 자세에 기인했다.
• 물체 선택 네트워크는 61%의 환경에서 모든 참조 물체를 정확히 식별했고, 83%의 환경에서 지정된 물체의 70%를 정확히 식별하여 언어 참조 기반 정의의 강건성을 입증했다.