[논문 리뷰] LTL-Constrained Steady-State Policy Synthesis

Jan Křetínský|arXiv (Cornell University)|2021. 05. 31.

Formal Methods in Verification인용 수 1

한 줄 요약

이 논문은 선형 시간 논리(LTL) 명세, 정적 상태 빈도 제약 조건, 그리고 장기 평균(LRA) 보상 최대화를 동시에 만족하는 마르코프 결정 과정(MDP) 정책을 합성하기 위한 통합 프레임워크를 제안한다. LTL 성질을 표현하기 위해 한계 결정성 뷔치 오ート마타(LDBA)를 활용하고, 다중 제약 조건 문제를 단일 다차원 LRA 최적화 문제로 환원함으로써, 단일 선형 프로그래밍을 통해 효율적인 정책 합성을 가능하게 하며, 다항 시간 내에 실행되며, ω-정규 성질 및 다양한 정책 클래스로의 확장도 지원한다.

ABSTRACT

Decision-making policies for agents are often synthesized with the constraint that a formal specification of behaviour is satisfied. Here we focus on infinite-horizon properties. On the one hand, Linear Temporal Logic (LTL) is a popular example of a formalism for qualitative specifications. On the other hand, Steady-State Policy Synthesis (SSPS) has recently received considerable attention as it provides a more quantitative and more behavioural perspective on specifications, in terms of the frequency with which states are visited. Finally, rewards provide a classic framework for quantitative properties. In this paper, we study Markov decision processes (MDP) with the specification combining all these three types. The derived policy maximizes the reward among all policies ensuring the LTL specification with the given probability and adhering to the steady-state constraints. To this end, we provide a unified solution reducing the multi-type specification to a multi-dimensional long-run average reward. This is enabled by Limit-Deterministic B\"uchi Automata (LDBA), recently studied in the context of LTL model checking on MDP, and allows for an elegant solution through a simple linear programme. The algorithm also extends to the general $\omega$-regular properties and runs in time polynomial in the sizes of the MDP as well as the LDBA.

연구 동기 및 목표

• MDP에서 선형 시간 논리(LTL), 정적 상태 빈도 제약 조건, 장기 평균 보상의 조합으로 이루어진 이질적 명세를 동시에 만족하는 정책을 합성하는 문제에 대응하기 위해.
• MDP의 구조나 정책 클래스에 대한 제한적인 가정 없이도 일반적이고 확장 가능한 해결책을 제공하기 위해.
• qualitative(LTL), behavioral(정적 상태), quantitative(LRA)의 다양한 명세 유형을 단일 최적화 프레임워크로 통합하기 위해.

제안 방법

• LTL 명세를 한계 결정성 뷔치 오ート마타(LDBA)로 변환하여, 실행 시 수용 조건 처리를 효율적으로 수행할 수 있도록 한다.
• 원본 MDP와 LDBA 간의 제품 MDP를 구성하여, 시스템 상태와 오차마타의 진행 상황을 동시에 추적한다.
• 제품 MDP에서 수용 상태에 도달하는 빈도에 대한 제약 조건으로 LTL 만족 조건을 표현한다.
• 유도된 마르코프 체인의 정적 분포에 대한 선형 부등식으로 정적 상태 제약 조건을 모델링한다.
• 장기 평균 보상 최대화 문제를 정적 분포 변수에 대한 다차원 선형 프로그래밍으로 공식화한다.
• 전체 이질적 명세를 단일 다차원 LRA 최적화 문제로 환원하여 표준 선형 프로그래밍으로 해결 가능하게 한다.

실험 결과

연구 질문

• RQ1 LTL, 정적 상태 빈도 제약 조건, 장기 평균 보상이 MDP에서 통합된 프레임워크를 통해 동시에 최적화될 수 있는가?
• RQ2 qualitative, behavioral, quantitative 명세의 조합이 어떻게 단일 최적화 문제로 환원될 수 있는가?
• RQ3 이러한 다중 제약 조건 정책 합성 문제의 계산 복잡도는 무엇이며, 효율적으로 해결될 수 있는가?
• RQ4 이 접근법은 LTL를 초월한 일반적인 ω-정규 성질로 확장될 수 있는가?
• RQ5 무한 기억 또는 수용 빈도 감소 등의 실용적 제약 조건은 이 프레임워크 내에서 어떻게 다루어질 수 있는가?

주요 결과

• 제안된 방법은 다중 유형의 명세 문제를 단일 다차원 장기 평균 보상 최적화 문제로 환원하여, 단일 선형 프로그래밍으로 해결 가능하게 한다.
• 알고리즘은 MDP와 LDBA의 크기에 대해 다항 시간 내에 실행되며, 효율적인 계산이 가능하다.
• 이전 연구와 달리 재귀성 또는 유일 체인 가정이 필요 없이 일반 정책을 지원한다.
• ε-근사법을 통해 다차원 보상과 파레토 최적 트레이드오프로의 자연스러운 확장이 가능하다.
• 수용 상태 또는 부분식에 대한 최소 빈도 기준과 같은 추가 제약 조건도 최소한의 계산 오버헤드로 통합 가능하다.
• LDBA의 사용은 전통적인 라빈 또는 파리티 결정성 오차마타에 비해 더 작고 효율적인 표현을 가능하게 하여 크기와 복잡도를 모두 감소시킨다.