[논문 리뷰] Lexicographic Ranking Supermartingales: An Efficient Approach to Termination of Probabilistic Programs

Sheshansh Agrawal, Krishnendu Chatterjee외 1명|arXiv (Cornell University)|2017. 09. 12.

Decision-Making and Behavioral Economics인용 수 30

한 줄 요약

이 논문은 비결정성과 함께 확률적 프로그램의 거의 확실한 종료를 증명하기 위한 새로운 방법인 사전순 순위 초마르팅일렉스(RSMs)를 소개한다. 비결정성 프로그램 분석에서 널리 사용되는 비확률적 프로그램 분석에서의 사전순 순위 함수를 확률적 환경으로 확장하여, 선형 산술 프로그램에 대해 효율적이고 구성적이고 다항시간 합성 기법을 가능하게 하며, 실제 세계의 추상화에 적용 가능하다.

ABSTRACT

Probabilistic programs extend classical imperative programs with real-valued random variables and random branching. The most basic liveness property for such programs is the termination property. The qualitative (aka almost-sure) termination problem given a probabilistic program asks whether the program terminates with probability 1. While ranking functions provide a sound and complete method for non-probabilistic programs, the extension of them to probabilistic programs is achieved via ranking supermartingales (RSMs). While deep theoretical results have been established about RSMs, their application to probabilistic programs with nondeterminism has been limited only to academic examples. For non-probabilistic programs, lexicographic ranking functions provide a compositional and practical approach for termination analysis of real-world programs. In this work we introduce lexicographic RSMs and show that they present a sound method for almost-sure termination of probabilistic programs with nondeterminism. We show that lexicographic RSMs provide a tool for compositional reasoning about almost sure termination, and for probabilistic programs with linear arithmetic they can be synthesized efficiently (in polynomial time). We also show that with additional restrictions even asymptotic bounds on expected termination time can be obtained through lexicographic RSMs. Finally, we present experimental results on abstractions of real-world programs to demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 비결정성과 함께 확률적 프로그램에서 거의 확실한 종료 분석을 위한 실용적이고 구성적인 방법의 부족을 해결한다.
• 비확률적 프로그램에서 성공한 사전순 순위 함수의 개념을 비확률적 프로그램으로 확장한다.
• 특히 선형 산술 프로그램에 대해 사전순 RSMs를 효율적으로 합성하기 위한 알고리즘 기법을 개발한다.
• 확률적 시스템에서 사전순 구조를 활용하여 종료에 대한 구성적 추론을 가능하게 한다.
• 제한된 사전순 RSMs를 사용하여 기대 종료 시간의 경계를 합성하기 위한 기반을 제공한다.

제안 방법

• 표준 RSMs의 일반화로서 사전순 순위 초마르팅일렉스(Lex-RSMs)를 도입하여, 다차원 진전을 추적하기 위해 초마르팅일렉스의 벡터를 사용한다.
• 초마르팅일렉스 벡터의 구성요소들 사이에 사전순 순서를 정의하여, 프로그램의 전이 관계 하에서 기대값의 엄격한 감소를 보장한다.
• 선형 산술을 갖는 프로그램에 대해 다항시간 내에 선형 사전순 RSMs를 선형 프로그래밍 기법을 사용해 합성한다.
• Lex-RSMs에 기반한 구성적 증명 규칙을 도입하여 프로그램 구성요소 간의 모듈식 종료 검증을 가능하게 한다.
• 기대 종료 시간의 점점 큰 상한을 유도하기 위해 Lex-RSMs에 추가 제약 조건을 도입한다.
• 실제 세계의 확률적 프로그램 추상화에 대해 접근법을 평가하여 실용적 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 사전순 순위 초마르팅일렉스는 비결정성과 함께 확률적 프로그램에서 거의 확실한 종료를 위한 타당하고 완전한 방법을 제공할 수 있는가?
• RQ2 선형 산술을 갖는 프로그램에 대해 Lex-RSMs는 효율적으로(예: 다항시간 내에) 합성될 수 있는가?
• RQ3 Lex-RSMs는 확률적 프로그램 검증에서 얼마나 구성적 추론을 지원할 수 있는가?
• RQ4 제한된 형태의 Lex-RSMs는 기대 종료 시간의 점점 큰 상한을 도출하는 데 사용될 수 있는가?
• RQ5 실제 세계의 프로그램 추상화에 적용했을 때 Lex-RSMs는 실용적으로 얼마나 효과적인가?

주요 결과

• 사전순 순위 초마르팅일렉스는 비결정성과 함께 확률적 프로그램의 거의 확실한 종료를 증명하기 위한 타당한 방법을 제공한다.
• 선형 산술을 갖는 확률적 프로그램에 대해 사전순 RSMs는 선형 프로그래밍을 사용해 다항시간 내에 합성될 수 있다.
• 이 방법은 구성적 추론을 지원하여 프로그램 구성요소의 모듈식 검증을 가능하게 한다.
• 추가적인 구조적 제약 조건을 적용함으로써 Lex-RSMs를 사용해 기대 종료 시간의 점점 큰 상한을 도출할 수 있다.
• 실제 세계의 프로그램 추상화에 대한 실험적 평가를 통해 이 접근법의 실용적 효과성과 확장성을 입증하였다.
• 이 프레임워크는 RSM 기반 종료 분석의 적용 범위를 학술적 예제를 넘어서 현실적이고 비단순한 확률적 프로그램으로 확장한다.