[논문 리뷰] A Sums-of-Squares Extension of Policy Iterations

Assalé Adjé, Pierre-Loïc Garoche외 1명|arXiv (Cornell University)|2015. 03. 27.

Formal Methods in Verification참고 문헌 45인용 수 4

한 줄 요약

이 논문은 다항 동역학과 가드를 가진 스위치 시스템의 정밀한 분석을 가능하게 하기 위해 정책 반복 기법을 다항식 최적화로 확장한다. 제곱형 템플릿 대신 다항식 템플릿을 사용하고 SOS 프로그래밍을 적용하여 수렴하는 점진적인 타이트한 초과근사값을 계산함으로써, 이전의 선형 프로그래밍/정수형 프로그래밍 기반 방법보다 비제곱형 시스템에서 더 높은 정밀도를 달성한다.

ABSTRACT

In order to address the imprecision often introduced by widening operators in static analysis, policy iteration based on min-computations amounts to considering the characterization of reachable value set of a program as an iterative computation of policies, starting from a post-fixpoint. Computing each policy and the associated invariant relies on a sequence of numerical optimizations. While the early research efforts relied on linear programming (LP) to address linear properties of linear programs, the current state of the art is still limited to the analysis of linear programs with at most quadratic invariants, relying on semidefinite programming (SDP) solvers to compute policies, and LP solvers to refine invariants. We propose here to extend the class of programs considered through the use of Sums-of-Squares (SOS) based optimization. Our approach enables the precise analysis of switched systems with polynomial updates and guards. The analysis presented has been implemented in Matlab and applied on existing programs coming from the system control literature, improving both the range of analyzable systems and the precision of previously handled ones.

연구 동기 및 목표

• 정책 반복 기법을 통해 정적 분석에서 넓힘 연산자의 부정확성을 해결하고, 정책 반복을 통해 불변량 계산을 정교화한다.
• 이전에 선형 또는 제곱형 불변량에 국한되어 있던 기존의 정책 반복 프레임워크를 다항식 불변량을 다룰 수 있도록 SOS 프로그래밍을 사용해 확장한다.
• 조각별 다항식 동역학과 가드를 가진 이산 시간 스위치 시스템에서 도달 가능 집합의 타당한 초과근사값을 가능하게 한다.
• 기존의 선형 또는 제곱형 추상화가 실패하는 시스템, 예를 들어 포화 또는 안정화 기능이 있는 제어기와 같은 시스템에 대해 정밀도와 적용 가능성을 향상시킨다.
• 비선형이고 조각별 다항식 프로그램의 유한성 및 안전성 검증을 위한 확장 가능하고 수렴 보장이 되는 알고리즘을 제공한다.

제안 방법

• 도달 가능 집합 계산을 다항식 템플릿에 대한 정책 반복으로 재정의하여 이전의 선형 또는 제곱형 형태에 의존하는 것에서 벗어난다.
• 비볼록 정책 계산을 볼록 정수형 프로그래밍(SDP)의 순차적 시퀀스로 변환하기 위해 다항식의 제곱(SOS) 프로그래밍을 사용한다.
• 이중성에 기반한 최소 정책 반복을 적용하여 라그랑주 승수를 계산하고, SOS 기반 리아프노프 함수를 사용해 불변량 증명서를 도출한다.
• 정책 반복 루프 내에서 기능의 SOS 기반 완화를 통합하여 이전 연구에서 확보된 수렴 보장을 유지한다.
• YALMIP과 MOSEK를 사용해 SOS 및 SDP 해법을 수행하는 MATLAB 기반으로 알고리즘을 구현하며, 수렴 기준은 ∥F R(wk) − wk∥∞ ≤ 1e–6이다.
• 템플릿 기반 추상화를 사용: 각 추상 상태는 다항식 표현식(예: x², xy, x⁴)의 범위로 정의되며, 예제에 따라 차수를 조정한다.

실험 결과

연구 질문

• RQ1 정책 반복 기법은 제곱형 불변량을 초월해 스위치 시스템의 다항식 불변량을 다룰 수 있는가?
• RQ2 정책 반복에 다항식의 제곱(SOS) 프로그래밍을 통합함으로써 비제곱형 시스템에 대해 수렴성과 정밀도를 유지하고 향상시킬 수 있는가?
• RQ3 제안된 SOS 기반 정책 반복은 이전의 선형/정수형 프로그래밍 기반 방법과 비교해 정밀도 및 실제 제어 시스템 적용 가능성 측면에서 어떻게 다른가?
• RQ4 템플릿 차수는 SOS 정책 반복의 수렴성과 수치적 안정성에 어떤 영향을 미치는가?
• RQ5 이 방법은 포화 또는 조각별 비선형성을 포함한 비다항식 또는 복잡한 동역학을 가진 시스템을 다룰 수 있는가?

주요 결과

• SOS 기반 정책 반복 확장은 다항식 스위치 시스템, 특히 비제곱형 동역학을 가진 시스템의 도달 가능 집합에 대해 타당한 초과근사값을 성공적으로 계산한다.
• 예제 6.1(3차원 조각별 선형 시스템)에서, degree-6 템플릿을 사용해 [3.7482, 1.8503, 1.0000]의 후점수를 한 번의 반복 내에 도달했다.
• 예제 6.2(2차원 조각별 선형 시스템)에서, 6회의 반복 후 degree-10 템플릿을 사용해 초과근사값을 [1.8359, 1.3341]에서 [1.4813, 1.2544]로 감소시켰다.
• 예제 6.3(조각별 제곱형 시스템)에서, degree-8 템플릿을 사용해 한 번의 반복 내에 [1.5531, 1.1511]의 범위를 달성했으며, 이는 이전 방법보다 더 높은 정밀도를 보였다.
• 예제 6.4(3차 다항식 시스템)에서는 degree-12 템플릿을 사용해 [1.2100, 0.9989]로 수렴했지만, 높은 차수(10,12)에서는 수치적 문제로 개선이 이루어지지 않았다.
• 일부 고차수 템플릿(예: 예제 6.1과 6.3에서 degree 8,10,12)에서는 내부점 수치형 정수형 프로그래밍 솔버의 수치적 불안정성으로 인해 수렴에 실패했다.