[논문 리뷰] Reinforcement Learning With Temporal Logic Rewards

Xiao Li, Cristian-Ioan Vasile외 1명|arXiv (Cornell University)|2016. 12. 11.

Formal Methods in Verification참고 문헌 15인용 수 4

한 줄 요약

이 논문은 복잡하고 시간적으로 구조화된 로봇 작업을 빠르고 신뢰성 있게 학습시킬 수 있도록 강화학습에서 절삭된 선형 시간논리(TLTL)와 복원도를 보상 함수로 사용하는 것을 제안한다. 도메인 지식과 제약 조건을 형식적으로 표현함으로써, 히وري스틱 보상보다 수렴 속도와 정책 품질 측면에서 뛰어난 성능을 보이며, 시뮬레이션과 Baxter 로봇에서 토스트 놓기 작업을 수행한 결과 100% 성공률을 기록했다.

ABSTRACT

Reinforcement learning (RL) depends critically on the choice of reward functions used to capture the de- sired behavior and constraints of a robot. Usually, these are handcrafted by a expert designer and represent heuristics for relatively simple tasks. Real world applications typically involve more complex tasks with rich temporal and logical structure. In this paper we take advantage of the expressive power of temporal logic (TL) to specify complex rules the robot should follow, and incorporate domain knowledge into learning. We propose Truncated Linear Temporal Logic (TLTL) as specifications language, that is arguably well suited for the robotics applications, together with quantitative semantics, i.e., robustness degree. We propose a RL approach to learn tasks expressed as TLTL formulae that uses their associated robustness degree as reward functions, instead of the manually crafted heuristics trying to capture the same specifications. We show in simulated trials that learning is faster and policies obtained using the proposed approach outperform the ones learned using heuristic rewards in terms of the robustness degree, i.e., how well the tasks are satisfied. Furthermore, we demonstrate the proposed RL approach in a toast-placing task learned by a Baxter robot.

연구 동기 및 목표

• 복잡한 로봇 작업에 대해 시간적 및 논리적 구조가 풍부한 효과적인 보상 함수를 설계하는 데 도전한다.
• 작업 의도와 안전 요구 사항을 포괄하는 사양 언어를 통해 도메인 지식과 형식적 제약 조건을 강화학습에 통합한다.
• 시간논리 사양에서 유도된 복원도를 사용해 히وري스틱 보상 대신 보상 신호를 대체함으로써 학습 효율성과 정책 품질을 향상시킨다.
• 시뮬레이션 환경과 실제 로봇 조작 작업 모두에서 TLTL 기반 보상의 실현 가능성과 우수성을 입증한다.

제안 방법

• 유한 시간 궤적과 시간적 의존성을 갖는 로봇 작업에 특화된 사양 언어로 절삭된 선형 시간논리(TLTL)를 제안한다.
• TLTL 공식을 실수 값 보상 함수로 매핑하기 위한 정량적 의미 체계로 복원도를 정의한다.
• 복원도를 정책 탐색 강화학습에서의 주요 보상 신호로 사용하여 수작업으로 만든 히وري스틱 보상 대체한다.
• 에피소드 기반 REPS와 스텝 기반 정책 탐색 알고리즘을 사용하여 시뮬레이션 및 실제 로봇 실험 모두에서 TLTL 보상 기반 정책을 학습한다.
• 작업 사양을 하위 공식으로 계층적으로 분해하고, 각 시간 단계에서 활성 제약 조건을 식별하기 위해 중첩된 min/max 연산을 통해 복원도를 계산한다.
• 다양한 하위작업 간 학습 집중의 불균형을 방지하기 위해 복원도 값을 수동으로 정규화한다.

실험 결과

연구 질문

• RQ1 정량적 의미 체계를 갖춘 시간논리 사양이 복잡한 로봇 작업에서 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 히وري스틱 보상 함수를 사용한 학습과 비교할 때, TLTL 기반 복원도 보상으로 학습하는 것은 수렴 속도와 최종 정책 품질 측면에서 어떻게 다른가?
• RQ3 히에라르키컬이 아닌 강화학습 알고리즘이 TLTL 보상에 의해 이끌릴 경우, 시간적으로 구조화된 작업을 성공적으로 학습할 수 있는가?
• RQ4 실제 로봇 조작 작업에서 복원도가 작업 만족도에 대한 의미 있는 대체 지표로 기능할 수 있는 정도는 어느 정도인가?

주요 결과

• TLTL 기반 보상으로 학습된 정책은 Baxter 로봇의 토스트 놓기 작업에서 100% 성공률를 기록했으며, 히وري스틱 보상으로 학습된 정책는 올바른 그립퍼 타이밍 정책을 학습하지 못했다.
• 시뮬레이션 및 실제 환경 모두에서 TLTL 보상으로 학습한 결과, 히وري스틱 보상 대비 수렴 속도가 빠르고 더 높은 품질의 정책을 생성했다.
• 복원도 보상 함수는 각 시간 단계에서 활성 제약 조건에 집중함으로써 블로킹 하위작업을 우선시함으로써 전체 학습 진전을 향상시켰다.
• 더 효율이 떨어지는 에피소드 기반 강화학습 알고리즘을 사용하더라도, TLTL 기반 접근 방식은 이산 및 연속 히وري스틱 보상 함수보다 우수한 성능을 보였다.
• 다양한 하위작업 간 학습의 불균형을 방지하기 위해 복원도 값의 수동 정규화가 필요했으며, 이는 향후 연구에서 적응형 정규화가 필요함을 시사한다.