[논문 리뷰] Correct-by-synthesis reinforcement learning with temporal logic constraints

Min Wen, Rüdiger Ehlers외 1명|arXiv (Cornell University)|2015. 03. 05.

Formal Methods in Verification인용 수 11

한 줄 요약

이 논문은 성능 기준이 알려지지 않은 상황에서도 시간 논리 사양을 보장하면서 강화학습 프레임워크를 정확하게 합성하는 방법을 제안한다. 문제를 (1) 사양 이행을 위한 최대 허용 전략을 계산하고 (2) 그 전략의 운영 영역 내에서 최대-최소-Q 학습을 적용하여 최적성을 확보함으로써 분리한다. 이는 GR(1) 사양 하에서 정확성과 근사 최적성을 보장한다.

ABSTRACT

We consider a problem on the synthesis of reactive controllers that optimize some a priori unknown performance criterion while interacting with an uncontrolled environment such that the system satisfies a given temporal logic specification. We decouple the problem into two subproblems. First, we extract a (maximally) permissive strategy for the system, which encodes multiple (possibly all) ways in which the system can react to the adversarial environment and satisfy the specifications. Then, we quantify the a priori unknown performance criterion as a (still unknown) reward function and compute an optimal strategy for the system within the operating envelope allowed by the permissive strategy by using the so-called maximin-Q learning algorithm. We establish both correctness (with respect to the temporal logic specifications) and optimality (with respect to the a priori unknown performance criterion) of this two-step technique for a fragment of temporal logic specifications. For specifications beyond this fragment, correctness can still be preserved, but the learned strategy may be sub-optimal. We present an algorithm to the overall problem, and demonstrate its use and computational requirements on a set of robot motion planning examples.

연구 동기 및 목표

• 사전에 알려지지 않은 성능 기준을 최적화하면서 시간 논리 사양을 만족하는 반응형 제어기를 합성하는 문제에 대응하기 위해.
• 사양 이행과 성능 최적화를 분리하여, 알려지지 않은 보상 함수에 관계없이 정확성을 보장하기 위해.
• 시간 논리 제약 조건을 만족하는 승리 전략의 집합 내에서 최적 행동을 가능하게 하기 위해.
• 실제 적용 가능성이 있는 로봇 운동 계획 문제에 대해 방법을 적용하여 검증하기 위해.
• 허용 전략 구축 시 성능와 계산 비용 간의 트레이드오프를 분석하기 위해.

제안 방법

• 먼저, 적대적인 환경 상호작용 하에서 주어진 시간 논리 사양을 만족할 수 있는 모든 가능한 방법을 포함하는 최대 허용 전략을 계산한다.
• 둘째, 알려지지 않은 성능 기준을 알려지지 않은 보상 함수로 표현하고, 그 전략의 운영 영역 내에서 최대-최소-Q 학습 알고리즘을 적용한다.
• 허용 전략 합성과 그 허용 전략 공간 내에서의 강화학습을 거쳐야 하는 이중 단계 학습 과정을 사용한다.
• 최적성과 정확성에 대한 충분 조건을 확보하기 위해 선형 시간 논리(LTL)의 GR(1) 조각을 활용한다.
• 허용성을 높이고 학습 성능을 향상시키기 위해 게임 모델에 카운터 기반 확장을 도입한다.
• 다양한 환경 복잡도와 카운터 제약 조건을 가진 로봇 운동 계획 예제에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 사양이 알려지지 않은 성능 기준을 최적화하면서도 시간 논리 사양을 보장하는 반응형 제어기를 합성할 수 있는가?
• RQ2 시간 논리 사양에 어떤 조건이 요구되어야 학습된 전략이 정확하고 최적일 수 있는가?
• RQ3 전략의 허용성은 학습된 정책의 성능와 계산 비용에 어떤 영향을 미치는가?
• RQ4 사양이 GR(1) 조각 외부에 있을 경우에도 정확성이 유지되는가?
• RQ5 학습된 전략의 성능와 허용 전략를 생성하기 위한 계산 노력 사이에 어떤 트레이드오프가 존재하는가?

주요 결과

• 제안된 방법은 GR(1) 조각 외부에 있는 사양일지라도 시간 논리 사양에 대해 정확성을 보장한다.
• GR(1) 사양의 경우, 최대-최소-Q 학습을 통해 알려지지 않은 성능 기준에 대해 최적성을 달성한다.
• 예제 2에서 허용 전략에서 승리 전략의 손실로 인해 학습된 전략의 성능가 부분적으로 최적이 아니었으며, 이는 사양의 구조가 중요함을 확인한다.
• 예제 3에서 게임 모델의 카운터 제한을 늘림으로써 최대 할인 보상은 5.7368에서 9.8616으로 증가했고, 학습 시간은 9.87초에서 275.88초로 증가했다.
• 허용성이 증가함에 따라 학습 반복 수가 20×10⁴에서 534×10⁴로 증가하여 성능와 계산 비용 간의 직접적인 트레이드오프를 입증한다.
• 이 방법은 복잡한 주행 및 방문 요구 조건을 가진 로봇 운동 계획 작업에서 확장성과 정확성을 성공적으로 입증했다.