[논문 리뷰] Learning Neuro-Symbolic Skills for Bilevel Planning

Tom Silver, Ashay Athalye외 3명|arXiv (Cornell University)|2022. 06. 21.

Robot Manipulation and Learning인용 수 13

한 줄 요약

이 논문은 시뮬레이션에서의 지도학습을 통해 기호적 연산자, 신경망 기반 하위목표 샘플러, 하위목표 조건부 정책를 동시에 학습하는 이중계획법(neuro-symbolic skills)을 제안한다. 이러한 구성요소들을 모듈러한 스킬로 통합함으로써, 연속적이고 고차원적인 로봇 환경에서 효율적이고 일반화 가능한 작업 및 운동 계획을 가능하게 하며, 네 도메인에서 여섯 가지 베이스라인을 초월해 미사용 작업에서 90–98%의 작업 성공률을 달성한다.

ABSTRACT

Decision-making is challenging in robotics environments with continuous object-centric states, continuous actions, long horizons, and sparse feedback. Hierarchical approaches, such as task and motion planning (TAMP), address these challenges by decomposing decision-making into two or more levels of abstraction. In a setting where demonstrations and symbolic predicates are given, prior work has shown how to learn symbolic operators and neural samplers for TAMP with manually designed parameterized policies. Our main contribution is a method for learning parameterized polices in combination with operators and samplers. These components are packaged into modular neuro-symbolic skills and sequenced together with search-then-sample TAMP to solve new tasks. In experiments in four robotics domains, we show that our approach -- bilevel planning with neuro-symbolic skills -- can solve a wide range of tasks with varying initial states, goals, and objects, outperforming six baselines and ablations. Video: https://youtu.be/PbFZP8rPuGg Code: https://tinyurl.com/skill-learning

연구 동기 및 목표

• 희박한 피드백과 고차원적 행동 공간을 가진 장수평, 연속 상태 로봇 결정 문제를 해결하기 위해.
• 작업 및 운동 계획에서 기호 추상화의 한계를 극복하기 위해, 동일한 기호적 효과를 만족하는 다수의 하위목표에 도달할 수 있는 스킬을 가능하게 하기 위해.
• 동일한 기호적 목표를 달성하는 여러 스킬 시퀀스를 계획할 수 있도록 하여, 기호 추상화가 손실이 있을 경우에도 유연성을 확보하기 위해.
• 스킬 수에 대한 사전 지식 없이, 파라미터화된 정책, 연산자, 샘플러를 함께 지도학습을 통해 학습하기 위해.
• 기호와 스킬이 상호로 학습되는 자가 향상 루프를 가능하게 하기 위해.

제안 방법

• 신경 기반 기호 스킬은 기호적 연산자, 신경망 기반 하위목표 조건부 정책, 신경망 기반 하위목표 샘플러로 구성되며, 모듈러하고 학습 가능한 단위를 형성한다.
• 하위목표 샘플러는 기호적 효과와 일치하는 환경 상태를 생성하여, 동일한 기호적 결과에 대해 다수의 타당한 하위목표가 필요함을 해결한다.
• 정책은 샘플된 하위목표에 조건부로 작동하며, 이를 향해 행동을 실행함으로써 다양한 초기 상태에 대한 일반화를 가능하게 한다.
• 이중계획법은 기호적 연산자에 대한 외부 인공지능 계획 루프와 가능성을 테스트하기 위한 내부 샘플링 루프를 포함하며, 필요에 따라 대체 시퀀스로의 후퇴를 허용한다.
• 스킬은 1000개의 지도학습 데이터에서 엔드 투 엔드로 학습되며, 스킬 수에 대한 사전 지식이 필요로 하지 않는다.
• 프레임워크는 수동으로 설계된 원소뿐만 아니라 학습된 술어를 모두 지원하여, 기호와 스킬 발견의 상호보완적 사이클을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지도학습을 통해 신경 기반 기호 스킬을 학습할 수 있는가? 이는 연속적인 로봇 환경에서 다양한 초기 상태와 목표에 대해 일반화를 가능하게 하는가?
• RQ2 기호 추상화가 손실이 있을 경우에도, 동일한 기호적 효과를 만족하는 여러 환경 상태(하위목표)에 도달할 수 있도록 스킬을 어떻게 설계할 수 있는가?
• RQ3 학습된 신경 기반 기호 스킬을 사용한 이중계획법이, 연속적인 행동과 상태, 희박한 보상 환경에서 장수평 설정에서 베이스라인을 초월할 수 있는가?
• RQ4 자동으로 발견된 술어에서 스킬을 학습하는 것이 가능할 수 있는가? 이는 기호와 스킬의 상호 창출을 가능하게 하는 자가 향상 시스템의 기반을 마련하는가?
• RQ5 학습된 샘플러와 정책의 통합은 수동으로 설계된 대안보다 계획 효율성과 성공률 측면에서 어떻게 비교되는가?

주요 결과

• Cover, Doors, Stick Button, Coffee 환경에서 제안된 방법(BPNS)은 각각 90.40%, 98.00%, 98.00%, 98.00%의 작업 성공률을 기록했으며, 표준편차는 2% 이하였다.
• 수동으로 설계된 스킬을 사용한 베이스라인과의 비교에서, 새로운 초기 상태와 목표에 대한 일반화 성능에서 모두 우월했다.
• Cover 환경에서 학습된 스킬을 사용한 계획은 평균 320.32개의 노드 생성을 요구했으며, 오라클 스킬이 요구하는 53.68개보다 훨씬 적어, 더 높은 탐색 효율성을 보였다.
• 벽시계 시간 기준 계획 시간은 학습된 스킬에서 더 높았으며(예: Coffee에서 53.68초), 오라클 스킬보다는 67.25초로 더 길었는데, 주로 신경망 추론 오버헤드 때문이었다.
• 수동으로 설계된 술어 대신 학습된 술어를 사용해 훈련한 경우에도 99.20%의 성공률을 달성해, 엔드 투 엔드 기호와 스킬 학습의 가능성을 입증했다.
• 술어 발명이 주요 병목 현상이었으며(평균 4898초), 스킬 학습은 더 빠르게(372초) 이루어져, 확장성 측면에서 기호 발견이 핵심 경로임을 시사했다.