[논문 리뷰] Supervisor Synthesis of POMDP based on Automata Learning

Xiaobin Zhang, Bo Wu외 1명|arXiv (Cornell University)|2017. 03. 24.

Formal Methods in Verification참고 문헌 37인용 수 4

한 줄 요약

이 논문은 유한 수평 PCTL 사양을 강제하기 위해 특수한 결정성 유한 오토마타(za-DFA)를 사용하는 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에 대한 L*-학습 기반 감시자 합성 프레임워크를 제안한다. 이 방법은 멤버십 질의와 반례 기반 학습을 통해 반복적으로 za-DFA를 정교화함으로써 자동으로 허용성 있고 비차단적인 감시자를 합성하며, 보장된 종료를 보장하는 음성적이고 완전한 합성에 성공한다.

ABSTRACT

As a general and thus popular model for autonomous systems, partially observable Markov decision process (POMDP) can capture uncertainties from different sources like sensing noises, actuation errors, and uncertain environments. However, its comprehensiveness makes the planning and control in POMDP difficult. Traditional POMDP planning problems target to find the optimal policy to maximize the expectation of accumulated rewards. But for safety critical applications, guarantees of system performance described by formal specifications are desired, which motivates us to consider formal methods to synthesize supervisor for POMDP. With system specifications given by Probabilistic Computation Tree Logic (PCTL), we propose a supervisory control framework with a type of deterministic finite automata (DFA), za-DFA, as the controller form. While the existing work mainly relies on optimization techniques to learn fixed-size finite state controllers (FSCs), we develop an $L^*$ learning based algorithm to determine both space and transitions of za-DFA. Membership queries and different oracles for conjectures are defined. The learning algorithm is sound and complete. An example is given in detailed steps to illustrate the supervisor synthesis algorithm.

연구 동기 및 목표

• 안전이 중요한 애플리케이션에서 형식적 PCTL 사양을 만족시키는 것을 보장하는 POMDP에 대한 감시자 합성의 과제를 해결하기 위해.
• 기존 최적화 기반 유한 상태 제어기(FSC) 학습의 한계를 극복하기 위해 제어기의 구조와 전이를 자동으로 발견할 수 있도록 하기 위해.
• 사전에 제어기 크기를 알지 못해도 되는 음성적이고 완전한 학습 기반 프레임워크를 개발하여 허용성 있는 za-DFA 감시자를 합성하기 위해.
• POMCP와 L* 알고리즘을 POMDP에 맞게 수정하여 확률적 모델 체킹과 오토마타 학습을 통합하기 위해.
• 멤버십 질의, 추측 검증, 반례 처리를 위한 신규 오라클을 통해 종료성과 정확성을 보장하기 위해.

제안 방법

• 감시자로 전용 결정성 유한 오토마타(za-DFA)를 사용하며, 이는 POMDP의 이력 의존 제어 정책을 인코딩한다.
• L*-학습 알고리즘을 변형하여 멤버십 질의를 수행하고 세 개의 오라클(OracleP: POMDP 모델 체킹, OracleB: 믿음 상태 만족도, OracleS: PCTL에 대한 반례 선택)로부터 온 반례를 처리함으로써 za-DFA의 구조를 추론한다.
• 유한 수평에서 PCTL 공식의 만족 확률을 최대화하기 위해 POMCP 알고리즘을 수정함으로써 POMDP 모델 체킹 단계를 가속화한다.
• 관측 표를 반복적으로 확장하고 정교화하여 닫힘과 일致성을 유지함으로써 음성적이고 완전한 학습을 보장한다.
• 반례는 추측된 za-DFA를 정교화하는 데 사용되며, OracleS는 PCTL 사양을 위반하는 적대적 관측 시퀀스를 식별한다.
• 최종으로 합성된 za-DFA는 허용성 있고, 각 상태에서 다수의 동작을 허용하여 제어 자유도를 유지하면서도 PCTL 만족도를 보장한다.

실험 결과

연구 질문

• RQ1 L*-학습은 POMDP에 대한 형식적 PCTL 사양을 만족시키는 감시자를 효과적으로 합성하는 데 적합하게 적용될 수 있는가?
• RQ2 확률적 시스템과 유한 수평 PCTL를 다룰 때 학습 과정을 음성적이고 완전하게 유지하는 방법은 무엇인가?
• RQ3 POMDP에서 정확하고 효율적인 감시자 합성을 보장하기 위해 멤버십 질의와 반례 처리에 어떤 수정이 필요한가?
• RQ4 제안된 프레임워크는 사전 크기 제약 없이 감시자의 상태 공간과 전이 구조를 자동으로 결정할 수 있는가?
• RQ5 PCTL 만족도를 보장하면서도 합성된 감시자의 허용성을 어떻게 유지할 수 있는가?

주요 결과

• 제안된 L*-학습 기반 감시자 합성 알고리즘은 음성적이고 완전하며, 보장된 종료와 정확성을 확보하여 유한 수평 PCTL 사양에 대해 성공한다.
• 프레임워크는 각 상태에서 다수의 동작을 허용하는 허용성 있는 za-DFA 감시자를 성공적으로 합성하여 제어의 유연성을 향상시켰다.
• 세부 사례 분석에서 알고리즘은 여섯 번의 반복 후 최종 za-DFA에 도달하였으며, 최대 만족 확률은 0.271로, 임계값 0.28 이하여 사양 준수를 확인하였다.
• 반복적 학습을 통해 알고리즘은 잘못된 반례를 정확히 식별하고 정교화하였으며, 11, 124, 121, 123과 같은 부정적 반례 각각이 새로운 추측을 도출하는 데 기여하였다.
• POMCP와 PCTL 모델 체킹의 통합은 만족 확률 계산을 효율적으로 수행하여 학습 루프 내의 계산 오버헤드를 감소시켰다.
• 오토마타 학습과 확률적 모델 체킹을 결합한 것이 POMDP에서의 형식적 합성 가능성을 입증하였으며, 향후 완전한 소프트웨어 통합 가능성도 보여주었다.