[논문 리뷰] Automata Guided Reinforcement Learning With Demonstrations

Xiao Li, Yao Ma외 1명|arXiv (Cornell University)|2018. 09. 17.

Reinforcement Learning in Robotics참고 문헌 29인용 수 11

한 줄 요약

이 논문은 문법적으로 안전한 잘라낸 선형 시간 논리(scrTLTL)와 시연를 통합하여 작업에 맞는 내재 보상과 계층적 정책을 생성하는 강화학습 프레임워크를 제안한다. scrTLTL 사양을 유한 상태 오토마타(FSA)로 컴파일하여, 효율적인 학습을 이끄는 구조화된 내재 보상을 제공함으로써, 복잡한 논리적 목표를 가진 로봇 조작 작업에서 샘플 복잡도를 크게 감소시키고 강건성을 향상시킨다.

ABSTRACT

Tasks with complex temporal structures and long horizons pose a challenge for reinforcement learning agents due to the difficulty in specifying the tasks in terms of reward functions as well as large variances in the learning signals. We propose to address these problems by combining temporal logic (TL) with reinforcement learning from demonstrations. Our method automatically generates intrinsic rewards that align with the overall task goal given a TL task specification. The policy resulting from our framework has an interpretable and hierarchical structure. We validate the proposed method experimentally on a set of robotic manipulation tasks.

연구 동기 및 목표

• 장기적인 수평, 논리적으로 구조화된 작업을 위한 강화학습에서 보상 함수를 지정하는 데 도전하는 데에 대비하기 위해.
• 시간 논리를 통한 형식적 작업 사양을 통합하여 샘플 복잡도와 분산을 감소시키기 위해.
• 시연와 오토마타 유도 내재 보상의 조합을 통해 학습 효율성과 정책 강건성을 향상시키기 위해.
• 해석 가능하고 계층적인 정책를 가능하게 하여 복잡한 작업을 하위 작업들로 자연스럽게 분해하기 위해.
• 시뮬레이션에서 실제 로봇 시스템으로의 정책 제로샷 전이를 촉진하기 위해.

제안 방법

• 주어진 scrTLTL 작업 사양을 유한 상태 오토마타(FSA)로 컴파일하여, 진행 상황 추적기이자 내재 보상 생성기로 사용한다.
• 내재 보상은 FSA 상태 전이에서 유도되며, 목표 달성 방향으로 탐색을 이끄는 조밀하고 작업에 맞는 신호를 제공한다.
• FSA 상태는 상태 공간의 이산 차원으로 통합되어, 작업을 더 단순한 하위 작업들로 분해하는 커리큘럼를 효과적으로 생성한다.
• 시연를 사용하여 행동 클로닝을 통해 정책를 초기화함으로써, 초기 탐색 시간을 단축하고 공변수 이동 문제를 완화한다.
• 오프-폴리시 딥 강화학습(DRL, 예: DDPG)과 FSA 보완 MDP 및 보상 형상화를 조합한 하이브리드 학습 방법을 사용한다.
• 프레임워크는 시간 논리의 강건성 메트릭을 사용하여 작업 성공 여부를 평가하여, 다양한 방법 간의 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 scrTLTL를 통한 형식적 작업 사양이 복잡하고 논리적으로 구조화된 작업을 위한 강화학습에서 샘플 효율성을 향상시키는가?
• RQ2 오토마타 유도 내재 보상 형상화는 히وري스틱 보상 형상화보다 학습 속도와 성공률 측면에서 어떻게 비교되는가?
• RQ3 시연와 FSA 보완 보상의 조합이 학습 분산을 줄이고 수렴을 가속화하는 데에 어느 정도 기여하는가?
• RQ4 시뮬레이션에서 훈련된 정책가 실제 로봇 플랫폼으로 성공적으로 전이될 수 있는가?
• RQ5 FSA에서 유도된 계층적 구조는 어떻게 설명 가능하고 강건한 정책 학습을 가능하게 하는가?

주요 결과

• 제안된 방법은 Task 1에 대해 평균 36.5단계, Task 2에 대해 평균 34.3단계로 안정적인 작업 성공을 달성하여, 보상 형상화 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 시연와 FSA 보상을 사용한 정책는 보상 형상화만을 사용한 정책보다 더 빠르게 수렴하고 분산이 적었으며, 후자는 할당된 훈련 시간 내에 작업를 해결하지 못했다.
• 보상 형상화 정책의 평균 단계 수는 Task 1에 대해 99.6, Task 2에 대해 95.5였으며, 이는 낮은 샘플 효율성을 시사한다.
• 이 방법은 시뮬레이션에서 훈련된 정책가 실제로 로봇 Baxter로 성공적으로 제로샷 전이되었으며, 두 작업 모두 10회의 무작위 시험에서 높은 성공률을 기록했다.
• FSA 기반 내재 보상은 보상 유도를 줄이고, 형식적 작업 사양에 학습을 맞추어 정책의 해석 가능성을 향상시켰다.
• FSA에서 유도된 계층적 구조는 작업을 관리 가능한 하위 목표들로 분해함으로써, 복잡한 순서를 더 효율적으로 학습할 수 있도록 했다.