[논문 리뷰] Formal Language Constraints for Markov Decision Processes

Eleanor Quint, Dong Xu외 3명|arXiv (Cornell University)|2019. 10. 02.

Formal Methods in Verification참고 문헌 53인용 수 4

한 줄 요약

이 논문은 유한 오토마타를 사용하여 MDP의 안전 제약 조건을 형식적 언어 기반 프레임워크로 명시함으로써 효율적인 런타임 검증과 안전한 강화학습을 가능하게 한다. MDP 상태에 제약 조건 오토마타 상태를 통합함으로써 밀도 높은 비용 함수를 학습하고 동작 형태 조정을 적용함으로써, MuJoCo, Safety Gym, Atari 환경 전반에서 탐색 중 제약 위반을 크게 줄이고 샘플 효율성과 최종 성능을 향상시킨다.

ABSTRACT

In order to satisfy safety conditions, an agent may be constrained from acting freely. A safe controller can be designed a priori if an environment is well understood, but not when learning is employed. In particular, reinforcement learned (RL) controllers require exploration, which can be hazardous in safety critical situations. We study the benefits of giving structure to the constraints of a constrained Markov decision process by specifying them in formal languages as a step towards using safety methods from software engineering and controller synthesis. We instantiate these constraints as finite automata to efficiently recognise constraint violations. Constraint states are then used to augment the underlying MDP state and to learn a dense cost function, easing the problem of quickly learning joint MDP/constraint dynamics. We empirically evaluate the effect of these methods on training a variety of RL algorithms over several constraints specified in Safety Gym, MuJoCo, and Atari environments.

연구 동기 및 목표

• 강화학습에서 탐색 중 안전성을 확보하는 데 도전하는 것 — 즉, 통제되지 않은 탐색이 위험한 행동을 유도할 수 있음.
• 정규 언어 및 유한 오토마타와 같은 잘 이해된 형식적 언어로 제약 조건을 표현함으로써 안전성 성질의 형식적 검증을 가능하게 하는 것.
• 탐색을 이끌고 제약 위반을 줄이기 위해 제약 조건을 체계화함으로써 샘플 효율성과 학습 안정성을 향상시키는 것.
• 사전 정의된 분석적 한계나 후행 시각화 기반 보호 장치에 의존하지 않고도 안전 제약 조건을 RL 학습에 통합하는 것.
• 형식적 언어 제약 조건이 학습 중에 효율적으로 인식되고 보상 및 동작 형태 조정에 활용될 수 있음을 입증하는 것.

제안 방법

• 형식적 언어 제약 조건은 유효한 트레이젝터리를 인식하는 유한 오토마타를 사용하여 정의되며, 이는 안전 조건의 효율적 런타임 검증을 가능하게 한다.
• 제약 조건 오토마타의 현재 상태를 MDP 상태에 통합함으로써 공동 MDP/제약 상태 공간을 생성함으로써 공동 동역학의 학습을 향상시킨다.
• 학습된 보상 형태 조정 함수를 사용해 희박한 비용 신호로부터 밀도 높은 비용 함수를 학습함으로써 학습 중 더 부드러운 책임 할당을 제공한다.
• 행동 형태 조정은 제약 위반을 유도하지 않는 동작만을 동적으로 제한함으로써 탐색 중 안전성을 보장한다.
• 표준 RL 알고리즘(예: DQN, SAC)과 통합되며, 하드 제약 조건(동작 필터링)과 소프트 제약 조건(보상 형태 조정)을 모두 지원한다.
• 정규 표현식을 사용해 제약 조건을 기술하며, 예를 들어 $(\ell r)^2 \mid (r\ell)^2$ 와 같이 Atari 및 MuJoCo에서의 딜링 패턴을 인코딩한다.

실험 결과

연구 질문

• RQ1 형식적 언어 제약 조건을 유한 오토마타로 표현함으로써 강화학습 에이전트의 탐색 중 안전성과 샘플 효율성을 향상시킬 수 있는가?
• RQ2 MDP 상태에 제약 조건 오토마타 상태를 통합함으로써 학습 수렴성과 제약 위반 비율에 어떤 영향을 미치는가?
• RQ3 학습된 밀도 높은 비용 함수가 희박한 비용 신호에 비해 제약 조건이 있는 강화학습에서 성능 향상에 얼마나 기여하는가?
• RQ4 제약 조건 구조에 기반한 동적 행동 형태 조정이 제약 위반을 줄이면서도 높은 수익을 유지하는가?
• RQ5 형식적 언어 제약 조건은 전통적인 쉴딩 또는 보상 형태 조정에 비해 검증 지원 및 학습 알고리즘과의 통합 측면에서 어떻게 비교되는가?

주요 결과

• Half-cheetah 환경에서 λ = -1000인 보상 형태 조정을 사용함으로써, 100단계당 위반 횟수는 82.84에서 16.73으로 감소했고, 평균 수익은 1555.30에서 2524.10으로 증가했다.
• Reacher 환경에서 최고 성능을 보인 설정(λ = -1000)은 0회의 위반과 -5.28의 수익을 기록했으며, 베이스라인인 -6.55를 초월했다.
• Atari 환경에서는 학습 및 평가 모두에서 하드 동작 형태 조정을 적용함으로써 가장 높은 평균 수익을 기록했다(예: Breakout는 302.00, Seaquest는 2284.78), 위반 수는 0이었다.
• 동작 형태 조정을 학습 기간 동안만 적용한 경우 성능이 약간 향상되었으며(예: Paddle Ball는 281.77 vs. 평가 기간에만 적용했을 때 229.00), 이는 조기 형태 조정이 정책 학습에 기여함을 시사한다.
• MuJoCo 환경에서 제약 위반 수가 최대 80% 감소했고, 최종 정책 수익이 향상되어 안전성과 샘플 효율성이 향상됨을 입증했다.
• 형식적 언어 제약 조건의 사용은 사전에 안전성 성질의 검증을 가능하게 하고 계약 기반 소프트웨어 시스템에의 통합을 지원했다.