[논문 리뷰] SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Wentao Yuan, Chris Paxton외 2명|arXiv (Cornell University)|2021. 09. 08.

Robot Manipulation and Learning인용 수 13

한 줄 요약

SORNet은 RGB 이미지에서 캐논리컬 개체 뷰를 쿼리로 사용하여 개체 중심 표현을 학습하는 시각 기반 프레임워크로, 순차적 조작 작업에서 새로운 개체에 대한 제로샷 일반화를 가능하게 한다. 공간 관계 분류 및 상대 방향 회귀와 같은 공간 추론 작업에서 최신 기술을 초월하며, 미세조정 없이도 실제 환경에서의 시뮬레이션에서 실제 환경으로의 전이와 작업 계획을 가능하게 한다.

ABSTRACT

Sequential manipulation tasks require a robot to perceive the state of an environment and plan a sequence of actions leading to a desired goal state. In such tasks, the ability to reason about spatial relations among object entities from raw sensor inputs is crucial in order to determine when a task has been completed and which actions can be executed. In this work, we propose SORNet (Spatial Object-Centric Representation Network), a framework for learning object-centric representations from RGB images conditioned on a set of object queries, represented as image patches called canonical object views. With only a single canonical view per object and no annotation, SORNet generalizes zero-shot to object entities whose shape and texture are both unseen during training. We evaluate SORNet on various spatial reasoning tasks such as spatial relation classification and relative direction regression in complex tabletop manipulation scenarios and show that SORNet significantly outperforms baselines including state-of-the-art representation learning techniques. We also demonstrate the application of the representation learned by SORNet on visual-servoing and task planning for sequential manipulation on a real robot.

연구 동기 및 목표

• 명시적인 6자리 자세 추정이 필요 없이 순차적 조작 작업에서 개체 수준의 추론을 지원하는 표현 학습 프레임워크를 개발하는 것.
• 단지 캐논리컬 개체 뷰를 쿼리로 사용하여, 새로운 형태와 질감을 가진 개체에 대해 제로샷 일반화를 가능하게 하는 것.
• 하나의 개체에 대한 표현을 공간적으로 기반으로 하며, 기울기 가능한 임베딩을 학습하여 후속 계획 및 제어에 대해 논리적이고 연속적인 공간 추론을 지원하는 것.
• 엔드 투 엔드 학습과 모델 기반 계획 간 격차를 해소하기 위해, 원시 RGB 입력에서 스케일링 가능하고 일반화 가능한 개체 중심 표현을 제공하는 것.
• 학습된 표현이 실제 조작 작업, 특히 시각적 서보 제어와 오픈 루프 계획에 전이 가능한지 보여주는 것.

제안 방법

• SORNet은 캐논리컬 개체 뷰 세트를 조건으로 삼아 RGB 이미지에서 개체 임베딩을 추출하는 신경망을 사용한다. 이 캐논리컬 뷰는 개체 쿼리로 기능한다.
• 모델은 입력 이미지와 캐논리컬 뷰 사이의 크로스 어텐션 메커니즘을 활용하여 관련된 개체 영역에 주목하고, 개체 특화의 임베딩을 생성한다.
• 모델은 동일한 개체의 다양한 뷰와 장면 간에 임베딩을 정렬하기 위해 대비 학습 목표를 사용하여 엔드 투 엔드로 훈련된다.
• 공간 추론 작업은 SORNet 임베딩과 분류(예: 공간 술어) 또는 회귀(예: 3D 방향 벡터)를 위한 리더아웃 헤드를 조합하여 수행된다.
• 모델은 개체 특화의 애너테이션 대신 캐논리컬 뷰의 의미적 및 공간적 일관성을 기반으로 하여 제로샷으로 새로운 개체에 일반화된다.
• 아키텍처는 개체 수와 장면 구성에 대해 불변하도록 설계되어, 장면 내 임의의 수의 개체를 지원한다.

실험 결과

연구 질문

• RQ1 시각 기반 모델은 RGB 이미지에서 새로운 형태와 질감을 가진 개체에 대해 제로샷 일반화가 가능한 개체 중심 표현을 학습할 수 있는가?
• RQ2 학습된 표현은 이산적인 논리적 추론(예: 공간 술어)과 연속적인 공간 추론(예: 3D 방향 회귀)을 모두 지원할 수 있는가?
• RQ3 SORNet의 표현은 미세조정 없이 시뮬레이션에서 실제 환경 조작으로 얼마나 잘 전이되는가?
• RQ4 SORNet 임베딩은 순차적 조작 작업을 위한 후속 계획 및 제어 파이프라인에서 효과적으로 사용될 수 있는가?
• RQ5 SORNet의 성능는 공간 추론 벤치마크에서 최신 기술의 장면 수준 표현 학습 방법과 비교해 어떻게 되는가?

주요 결과

• SORNet은 복잡한 테이블탑 조작 시나리오에서 공간 관계 분류 및 상대 방향 회귀 작업에서 최신 기술을 초월하는 성능을 달성하며, 장면 수준 표현 기반 모델보다 뛰어난 성능을 보였다.
• 모델은 훈련 중에 볼 수 없었던 새로운 일상용 개체, 특히 새로운 색상과 형태를 가진 개체에 대해 제로샷으로 일반화되며, 실제 테스트 장면에서 술어 분류 작업에서 높은 정확도를 기록했다.
• 시뮬레이션에서 실제 환경으로의 전이에서, SORNet은 어떤 미세조정 없이도 실제 장면에서 공간 술어를 정확하게 예측하여 강력한 도메인 일반화 능력을 입증했다.
• SORNet은 새로운 개체를 포함한 순차적 조작 작업에 대해 실로봇에서 오픈 루프 계획을 성공적으로 수행할 수 있도록 하였으며, 상태 입력으로 SORNet이 예측한 술어만을 사용하였다.
• SORNet 임베딩 위에 단순한 MLP 헤드를 적용하여 3D 방향과 거리를 회귀함으로써 효과적인 시각적 서보 제어를 지원하였으며, 실시간으로 종단기구 운동 제어를 가능하게 하였다.
• RGB 입력만으로도 학습된 임베딩은 거리 기반의 의미 있는 운동 가이던스를 가능하게 하는 풍부한 3D 공간 정보를 포함하고 있으며, 명시적 깊이 감독 없이도 이를 구현할 수 있었다.