[논문 리뷰] Learning Multi-Object Symbols for Manipulation with Attentive Deep Effect Predictors

Alper Ahmetoğlu, Erhan Öztop외 1명|arXiv (Cornell University)|2022. 08. 01.

Robot Manipulation and Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 동적인, 객체 수가 변하는 환경에서 로봇이 자기 탐색을 통해 이산적이고 다중 객체 기반의 기호를 발견할 수 있도록 하는 이진 잠재층을 갖춘 자기주의적 딥 예측 인코더-디코더 네트워크를 제안한다. 이 시스템은 상호작용 영향을 예측하고, 물체 스택 재정렬과 같은 작업을 위한 기호 기반 추론 및 계획을 가능하게 하며, 생태학적으로 관련성이 높은 최소한의 기호를 사용해 시뮬레이션에서 다단계 계획을 정확하게 달성한다.

ABSTRACT

In this paper, we propose a concept learning architecture that enables a robot to build symbols through self-exploration by interacting with a varying number of objects. Our aim is to allow a robot to learn concepts without constraints, such as a fixed number of interacted objects or pre-defined symbolic structures. As such, the sought architecture should be able to build symbols for objects such as single objects that can be grasped, object stacks that cannot be grasped together, or other composite dynamic structures. Towards this end, we propose a novel architecture, a self-attentive predictive encoder-decoder network with binary activation layers. We show the validity of the proposed network through a robotic manipulation setup involving a varying number of rigid objects. The continuous sensorimotor experience of the robot is used by the proposed network to form effect predictors and symbolic structures that describe the interaction of the robot in a discrete way. We showed that the robot acquired reasoning capabilities to encode interaction dynamics of a varying number of objects in different configurations using the discovered symbols. For example, the robot could reason that (possible multiple numbers of) objects on top of another object would move together if the object below is moved by the robot. We also showed that the discovered symbols can be used for planning to reach goals by training a higher-level neural network that makes pure symbolic reasoning.

연구 동기 및 목표

• 사전 정의된 구조나 고정된 상호작용 제약 조건 없이도 변하는 수의 객체에 대해 기호적 표현을 발견할 수 있도록 하는 것.
• 자기주의적 주의 메커니즘을 통해 개별 객체 기호와 복합 다중 객체 기호를 동시에 형성할 수 있는 단일 신경 아키텍처를 개발하는 것.
• 기본 객체를 움직였을 때 그 위에 올라간 물체들이 함께 움직이는 것과 같은 상호작용 역학에 대한 추론 능력을 부여하는 것.
• 발견된 기호가 학습된 기호 전이 모델을 통해 목표 지향적 계획에 사용될 수 있음을 입증하는 것.
• 학습된 기호만을 사용하여 순수 기호 기반 추론과 계획 생성을 가능하게 하되, 이를 시뮬레이션에서 검증하는 것.

제안 방법

• 연속적인 감각운동 관측을 이산적 기호 표현으로 매핑하기 위해 자기주의적 예측 인코더-디코더 네트워크를 사용한다.
• 이진 활성화 층을 통해 봉쇄를 형성하여 효과 예측을 최적화하기 위해 이산적이고 압축된 기호 표현을 강제한다.
• 자기주의적 주의 메커니즘이 실시간으로 개별 물체 기호를 조합하여 복합 다중 객체 기호를 생성한다.
• 현재 상태와 행동으로부터 다음 기호 상태를 예측하기 위해 이진 교차 엔트로피 손실을 사용해 별도의 기호 전진 모델을 훈련한다.
• 다양한 수의 강체 물체를 포함하는 시뮬레이션된 로봇 조작 데이터를 기반으로 네트워크를 엔드 투 엔드로 훈련한다.
• 학습된 기호 전이 모델을 기반으로 트리 탐색을 사용해 기호 기반 추론 및 계획을 평가한다.

실험 결과

연구 질문

• RQ1 단일 신경 아키텍처가 자기 탐색을 통해 변하는 수의 물체에 대해 생태학적으로 관련성이 높은 이산적 기호를 발견할 수 있는가?
• RQ2 발견된 기호가 물체를 집을 때의 움직임과 같은 상호작용 영향을 정확히 예측하는 데 기여하는가?
• RQ3 기본 물체를 조작했을 때 그 위에 있는 물체들이 함께 움직이는 것을 시스템이 추론할 수 있는가?
• RQ4 학습된 기호가 복합 물체 구조를 구축하는 것과 같은 복잡한 목표를 달성하기 위한 다단계 기호 기반 계획을 가능하게 하는가?
• RQ5 발견된 기호 집합이 중복되거나 임의적이지 않고, 효과 예측을 위해 최소화되고 최적화되어 있는가?

주요 결과

• 시스템은 효과 예측에 충분한 최소한의 기호 집합을 성공적으로 학습하였으며, 유형에 관계없이 가려진 물체에 대해 공통의 '잡을 수 없음' 기호를 사용하였다.
• 로봇은 기본 물체를 들어 올렸을 때 그 위에 있는 물체들이 함께 움직이는 것을 예측하는 추론 능력을 보였으며, 다양한 물체 구성에서도 이를 구현하였다.
• 발견된 기호 덕분에 고차원적 기호 전진 모델이 시뮬레이션에서 성공적인 목표 도달 작업 수행을 통해 정확한 다단계 계획을 생성할 수 있었다.
• 기호 전이 모델은 다음 상태 예측을 정확하게 수행하여 트리 탐색 알고리즘이 복잡한 목표, 예를 들어 물체 스택 재배치를 위한 실현 가능한 계획을 찾는 데 기여하였다.
• 시스템은 예상치 못한 물체 수와 구성에 대해 일반화되었으며, 변동성이 큰 환경에서의 조작에 대한 강건성을 보였다.
• 자기주의적 주의 메커니즘이 개별 물체 기호를 효과적으로 복합 다중 객체 기호로 조합하여 상호작용 역학을 잘 포착하였다.