[논문 리뷰] A Composable Specification Language for Reinforcement Learning Tasks

Kishor Jothimurugan, Rajeev Alur외 1명|arXiv (Cornell University)|2020. 08. 21.

Formal Methods in Verification인용 수 21

한 줄 요약

이 논문은 복잡한 강화학습(RL) 작업을 정의하기 위한 구성 가능한 사양 언어를 제안한다. 이 언어는 고수준 논리적 술어를 사용하여 보상 함수와 확장된 상태 공간으로 컴파일되며, 작업 모니터를 통해 이루어진다. 이 방법은 비마르코프 과제에 대해 최적의 정책을 효율적으로 학습할 수 있게 하며, 벤치마크에서 Spectrl는 97% 이상의 성공률을 기록하고 TLTL 및 CCE와 같은 최첨단 기준을 초월한다.

ABSTRACT

Reinforcement learning is a promising approach for learning control policies for robot tasks. However, specifying complex tasks (e.g., with multiple objectives and safety constraints) can be challenging, since the user must design a reward function that encodes the entire task. Furthermore, the user often needs to manually shape the reward to ensure convergence of the learning algorithm. We propose a language for specifying complex control tasks, along with an algorithm that compiles specifications in our language into a reward function and automatically performs reward shaping. We implement our approach in a tool called SPECTRL, and show that it outperforms several state-of-the-art baselines.

연구 동기 및 목표

• 다양한 목표와 제약 조건을 가진 복잡한 RL 과제에 대해 수동으로 설계하는 희박하고 취약한 보상 함수 문제를 해결하기 위해.
• 사용자가 저수준 액션 시퀀스 없이 직관적이고 구성 가능한 논리적 술어를 사용해 과제를 지정할 수 있도록 하기 위해.
• 중간 단계 진전에 대한 부분 점수와 비마르코프 과제를 위한 기억 인식 상태 확장을 포함한 보상 함수를 자동으로 생성하기 위해.
• 안전 제약 조건이 있는 복잡하고 순서가 지정된 과제에서 샘플 효율성과 성공률 측면에서 기존 RL 기준을 능가하기 위해.
• 고수준 과제 사양을 훈련 가능한 RL 문제로 변환하는 컴파일러와 유사한 파이프라인을 제공하기 위해.

제안 방법

• 이 방법은 도메인 특화 언어를 사용하여 상태 술어(예: 도달, 피하기, 연료 > 0)에 대한 달성 및 보장 문장의 시퀀스로 과제를 표현한다.
• 사양에서 자동으로 생성된 작업 모니터(유한 오ート마타)가 하위과제 진행 상황을 추적하고 상태 간에 기억을 유지한다.
• 모니터 상태가 에이전트의 관측 공간에 확장되어 정책이 과제 진행 상황을 고려할 수 있도록 한다.
• 중간 하위과제를 완료하거나 사양 순서를 진행한 데 대해 부분 점수를 부여함으로써 보상 형상화를 적용한다.
• 확정적인 MDP의 경우 최적의 정책이 유지되도록 보상 함수가 컴파일되며, 경험적 결과는 스토케스틱 환경에서도 효과적임을 보여준다.
• 표준 RL 알고리즘(예: ARS)과 통합하기 위해 보상 함수를 형상화하고 상태 공간을 확장한다.

실험 결과

연구 질문

• RQ1 고수준이고 구성 가능한 사양 언어가 다수의 목표와 제약 조건을 가진 복잡한 RL 과제의 사양 및 학습을 향상시킬 수 있는가?
• RQ2 과제 구조에서 체계적으로 보상 형상화를 유도하면 샘플 효율성과 수렴 속도가 향상되는가?
• RQ3 비마르코프 사양을 처리하고 기억 인식 제어 정책을 가능하게 하기 위해 작업 모니터를 자동으로 생성할 수 있는가?
• RQ4 사양을 형상화된 보상으로 컴iles하는 것이 사양 의미를 직접 보상으로 사용하는 것보다 우월한가?
• RQ5 특히 깊이 중첩된 순서 구조를 포함할 경우, 사양 복잡성 증가에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• Spectrl는 벤치마크 세트의 모든 과제에서 최소 97%의 성공률을 기록했으며, TLTL 및 CCE와 같은 최첨단 기준을 초월했다.
• 보상 형상화 없이 Spectrl는 최종 모니터 상태에 우연의 일치로 도달하지 않는 한 정책을 학습하지 못했으며, 이는 형상화의 必요성을 입증한다.
• 기억이 필요한 과제(예: $φ_5$, $φ_6$, $φ_7$)에서는 Spectrl가 CCE와 TLTL를 크게 능가했으며, 이들은 단일 상태 정책에 의존해 비마르코프 과제에서 실패한다.
• Spectrl는 사양 크기에 따라 잘 스케일링되었으며, 최대 7개의 중첩된 순서 연산자를 포함해도 샘플 복잡도 증가가 매우 적었다.
• 카트폴 환경에서는 Spectrl가 TLTL보다 과제를 더 빨리 학습했고, CCE는 유효한 정책을 학습하지 못했다.
• 장애물 회피 및 연료 유지와 같은 다중 제약 조건에 대해 Spectrl는 강건성을 보였으며, CCE의 성능은 심각하게 저하되었다.