[논문 리뷰] Modular Deep Reinforcement Learning with Temporal Logic Specifications

Lim Zun Yuan, Mohammadhosein Hasanbeig외 2명|arXiv (Cornell University)|2019. 09. 23.

Reinforcement Learning in Robotics참고 문헌 29인용 수 23

한 줄 요약

이 논문은 희박한 보상과 복잡한 시간적 구조를 가진 연속 상태 및 연속 행동 MDPs를 위한 모듈러하고 액터-크리틱이며 모델-프리인 딥 강화학습 프레임워크를 제안한다. 고수준 임무 목표를 지정하기 위해 선형 시간 논리(LTL)를 사용하고, 유한 상태 오토마타와 함께 실시간으로 제품을 구성하며, 하위 정책을 학습하기 위해 모듈러한 딥 디터민리스틱 정책 기울기(DDPG)를 활용하여 화성 탐사차 경로 계획 과제에서 98.8%의 성공률을 달성하고 더 복잡한 craters 횡단 시나리오에서는 100%의 성공률을 기록한다.

ABSTRACT

We propose an actor-critic, model-free, and online Reinforcement Learning (RL) framework for continuous-state continuous-action Markov Decision Processes (MDPs) when the reward is highly sparse but encompasses a high-level temporal structure. We represent this temporal structure by a finite-state machine and construct an on-the-fly synchronised product with the MDP and the finite machine. The temporal structure acts as a guide for the RL agent within the product, where a modular Deep Deterministic Policy Gradient (DDPG) architecture is proposed to generate a low-level control policy. We evaluate our framework in a Mars rover experiment and we present the success rate of the synthesised policy.

연구 동기 및 목표

• 매우 희박한 보상과 복잡한 시간적 의존성을 가진 연속 상태 및 연속 행동 MDPs에서 최적의 정책을 학습하는 데 도전하는 것.
• 중간 지도 없이 사전 정의된 옵션 없이도 한 번에 정책을 학습할 수 있도록 허용하는 것.
• 형식적 시간 논리 사양(LTL)을 딥 강화학습에서 탐색 및 정책 학습의 내재적 가이드로 통합하는 것.
• 이산 MDPs와 이전의 모델-프리 RL 방법이 연속 공간에서 시간 논리 제약 조건을 처리하는 데 가지는 한계를 극복하는 것.
• 실제와 유사한 로봇 주행 과제, 예를 들어 순차적이고 안전 기준이 엄격한 조건이 요구되는 화성 탐사차 경로 계획 과제에서 프레임워크의 효과성을 입증하는 것.

제안 방법

• 프레임워크는 선형 시간 논리(LTL)를 사용하여 고수준 임무 작업을 형식적으로 지정하며, 순서, 안전성 및 라이브니스 성질을 포함한다.
• LTL 공식은 버치 오토마타로 변환되며, 이는 작업의 시간적 구조를 유한 상태 기계로 표현한다.
• MDP와 오토마타 사이에 실시간으로 동기화된 제품을 구성함으로써 명시적인 제품 구축 없이도 상태 추적을 가능하게 한다.
• 오토마타의 구조에 기반하여 보상 함수가 자동으로 형상화되어 LTL 성질을 만족시키도록 에이전트를 유도한다.
• 각 모듈은 LTL 분해로부터 유도된 하위 작업에 대응하는 모듈러한 딥 디터민리스틱 정책 기울기(DDPG) 아키텍처를 사용한다.
• 액터-크리틱 프레임워크는 연속 상태 및 행동 공간에서 LTL 전용 하위 정책을 공동 최적화하여 인간이 제공한 중간 보상 없이도 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 희박한 밀도 보상만을 가진 연속 상태 및 연속 행동 MDPs에서 복잡하고 시간적으로 구조화된 작업을 학습할 수 있는가?
• RQ2 형식적 시간 논리(LTL)는 감독 없이도 모델-프리이고 온라인 RL 프레임워크에 효과적으로 통합되어 탐색 및 정책 학습을 유도할 수 있는가?
• RQ3 제안된 모듈러 DDPG 프레임워크는 LTL 사양을 학습 가능한 하위 정책으로 자동 분해하면서도 전반적인 작업 만족도를 유지할 수 있는가?
• RQ4 순차적이고 안전 기준이 엄격한 조건이 요구되는 실제 로봇 주행 과제, 예를 들어 화성 탐사차 경로 계획에서 프레임워크의 성능은 어떠한가?
• RQ5 매우 희박한 보상이 존재하는 과제에서 표준 DDPG에 비해 성공률과 샘플 효율성 측면에서 프레임워크는 어떤가?

주요 결과

• 제안된 프레임워크는 Melas Chasma 화성 탐사차 실험에서 200번의 테스트 런 동안 98.8%의 성공률을 기록했으며, 표준 DDPG가 단지 21.4%의 성공률을 기록한 것과 비교해 뚜렷한 우월성을 보였다.
• 더 복잡한 Victoria Crater 임무에서는 200번의 런에서 100%의 성공률을 기록하여 복잡한 순차적이고 안전 기준이 엄격한 조건을 처리할 수 있음을 입증했다.
• LTL 오토마타에서 유도된 부정적 보상 신호를 활용하여 위험한 지역(예: craters 가장자리)을 피하는 것을 성공적으로 학습했으며, 이러한 유도 없이 표준 DDPG는 이러한 행동을 학습하지 못했다.
• 모듈러 DDPG 아키텍처는 LTL 작업을 점진적인 하위 작업으로 자동 분해할 수 있었으며, 에이전트는 체크포인트를 순차적으로 진행하는 법을 학습했다.
• 실시간 제품 구성은 전체 제품 공간을 사전 계산하는 계산적 부담 없이도 효율적인 상태 추적과 보상 형상화를 가능하게 했다.
• 프레임워크는 인간이 제공한 중간 보상 없이도 복잡한 정책을 한 번에 비지도 학습할 수 있었으며, 더 쉬운 하위 작업에 대한 사전 훈련이 필요 없었다.