[논문 리뷰] Model-based Reinforcement Learning from Signal Temporal Logic Specifications

Parv Kapoor, Anand Balakrishnan외 1명|arXiv (Cornell University)|2020. 11. 10.

Formal Methods in Verification참고 문헌 53인용 수 14

한 줄 요약

이 논문은 신호 시간 논리(Signal Temporal Logic, STL) 사양을 사용하여 고수준 로봇 행동을 정의하고, 기존의 보상 함수를 대체하는 모델 기반 강화학습 프레임워크를 제안한다. 깊이 있는 신경망을 사용해 시스템의 궤적을 예측하고, 수축하는 수평선을 기반으로 한 진화 전략 최적화를 통해 STL 강건성(robustness)을 최대화하는 행동을 선택한다. 이로써 로봇 조작 및 자율 주행 작업에서 더 높은 샘플 효율성과 안전성을 확보한다.

ABSTRACT

Techniques based on Reinforcement Learning (RL) are increasingly being used to design control policies for robotic systems. RL fundamentally relies on state-based reward functions to encode desired behavior of the robot and bad reward functions are prone to exploitation by the learning agent, leading to behavior that is undesirable in the best case and critically dangerous in the worst. On the other hand, designing good reward functions for complex tasks is a challenging problem. In this paper, we propose expressing desired high-level robot behavior using a formal specification language known as Signal Temporal Logic (STL) as an alternative to reward/cost functions. We use STL specifications in conjunction with model-based learning to design model predictive controllers that try to optimize the satisfaction of the STL specification over a finite time horizon. The proposed algorithm is empirically evaluated on simulations of robotic system such as a pick-and-place robotic arm, and adaptive cruise control for autonomous vehicles.

연구 동기 및 목표

• 강화학습에서 효과적이고 안전한 보상 함수를 설계하는 데 도전하는 것. 이는 보상 해킹(reward hacking)과 일반화 능력 부족의 위험을 수반한다.
• 표현력 있는 형식 언어인 신호 시간 논리(Signal Temporal Logic, STL)를 사용해 로봇 분야에서 고수준 작업 사양을 정의함으로써 정확성과 안전성을 보장하는 것.
• 예측 동역학 모델을 활용한 모델 기반 학습을 통해 강화학습의 샘플 효율성을 향상시키는 것.
• 형식 검증 개념(예: STL 강건성)을 모델 예측 제어(MPC)에 통합하여 더 안전하고 신뢰할 수 있는 정책 합성 방법을 개발하는 것.
• 픽앤플레이스 및 적응형 크루즈 컨트롤과 같은 복잡한 로봇 작업에 대해 제안된 방법을 적용하여 확장성과 강건성을 입증하는 것.

제안 방법

• 깊이 있는 신경망(DNN)이 상태-행동 궤적 데이터로부터 시스템 동역학의 결정론적 예측 모델을 학습한다.
• 예측 모델은 주어진 제어 행동 시퀀스에 대해 유한 수평선 궤적을 생성한다.
• STL의 정량적 의미론(강건성)을 기반으로 한 비용 함수를 사용해 예측 궤적의 품질을 평가한다.
• 진화 전략을 사용하는 온라인 블랙박스 최적화기가 STL 기반 비용 함수를 최소화하는 최적의 행동 시퀀스를 탐색한다.
• 최적화된 시퀀스에서 첫 번째 행동을 수축하는 수평선 MPC 방식으로 적용하고, 각 시간 단위마다 이 과정을 반복한다.
• 수동으로 설계된 보상 함수를 피하는 모델 기반 학습과 형식 사양 기반 최적화를 결합한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 보상 함수에 의존하지 않고 STL 사양을 효과적으로 사용해 복잡한 로봇 행동을 정의할 수 있는가?
• RQ2 형식 사양을 활용해 모델 기반 강화학습을 어떻게 향상시켜 샘플 효율성과 안전성을 높일 수 있는가?
• RQ3 예측 궤적을 대상으로 한 진화 전략 기반 최적화가 복잡한 작업에서 기존의 보상 기반 강화학습보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 STL 강건성을 비용 함수로 사용할 경우 제어기의 신뢰성은 얼마나 향상되고 보상 해킹은 얼마나 감소하는가?
• RQ5 제안된 방법은 실제 로봇 및 자율 주행 차량 제어 작업에 얼마나 잘 스케일링되는가?

주요 결과

• 제안된 방법은 수동으로 설계된 보상 함수에 의존하지 않고도 안전하고 효과적인 제어 정책을 성공적으로 합성한다.
• STL 강건성을 비용 함수로 사용함으로써 제어기가 고수준의 시간적 및 논리적 제약 조건을 만족하는 행동을 우선순위로 삼을 수 있다.
• DNN 동역학 모델과 진화 최적화를 활용한 모델 기반 접근 방식은 기존의 모델 프리 강화학습보다 더 높은 샘플 효율성을 달성한다.
• 픽앤플레이스 로봇 팔과 적응형 크루즈 컨트롤 작업에 대한 실증 평가 결과, 다양한 초기 조건 하에서도 안정적이고 정확한 행동을 보였다.
• 형식 논리로 작업 사양을 직접 최적화 목표에 통합함으로써 보상 해킹에 대한 저항력이 향상됨을 입증했다.
• MPC에 STL 의미론을 통합함으로써 소규모 시스템 동역학 및 초기 상태의 변동에 대해 증명 가능하게 강건한 제어기를 합성할 수 있었다.