[논문 리뷰] Control Design for Markov Chains under Safety Constraints: A Convex Approach

Eduardo R. Arvelo, Nuno C. Martins|arXiv (Cornell University)|2012. 09. 13.

Advanced Control Systems Optimization참고 문헌 14인용 수 4

한 줄 요약

이 논문은 안전 제약 조건 하에 시간 불변이며 기억이 없는 제어 정책을 설계하기 위한 볼록 최적화 방법을 제안한다. 이는 금지된 상태에 도달하지 않도록 보장하며, 유한 상태 마르코프 체인에서 금지된 상태에 도달하지 않는 상태의 최대 집합을 효율적으로 계산할 수 있도록 한다. 유한 매개변수화된 엔트로피 최대화 프로그램을 통해, 표준 볼록 최적화 솔버를 사용하여 빠르게 계산할 수 있는 최대의 안전한 재귀 상태 집합을 식별한다.

ABSTRACT

This paper focuses on the design of time-invariant memoryless control policies for fully observed controlled Markov chains, with a finite state space. Safety constraints are imposed through a pre-selected set of forbidden states. A state is qualified as safe if it is not a forbidden state and the probability of it transitioning to a forbidden state is zero. The main objective is to obtain control policies whose closed loop generates the maximal set of safe recurrent states, which may include multiple recurrent classes. A design method is proposed that relies on a finitely parametrized convex program inspired on entropy maximization principles. A numerical example is provided and the adoption of additional constraints is discussed.

연구 동기 및 목표

• 제어된 마르코프 체인에서 금지된 상태 집합으로의 전이가 일어나지 않도록 보장하면서 재귀 상태의 수를 극대화하는 제어 정책을 설계하기 위해.
• 시간 불변이며 기억이 없는 제어 정책 하에, 재귀적이면서도 안전한(즉, 금지된 상태에 도달할 수 없는) 상태의 최대 집합을 특성화하기 위해.
• 볼록 프로그래밍을 활용하여 이러한 정책을 계산적으로 실현 가능한 방법으로 식별하기 위해.
• 엔트로피 최대화 원리와 표준 볼록 최적화 도구를 활용하여 해의 안정성과 확장 가능성을 보장하기 위해.
• 추가 제약 조건(예: 기대 비용 또는 자원 제한)을 포함시키되, 볼록성은 유지하기 위해.

제안 방법

• 제어 설계 문제를 볼록 프로그램으로 포지셔닝하여, 제약 조건 하에 상태-제어 분포의 연합 엔트로피를 최대화한다.
• 최적화 변수로 각 상태에서의 제어 정책 확률을 사용하는 유한 매개변수화된 설정을 도입한다.
• 해결책 집합 내의 모든 상태에서 금지된 상태로의 전이 확률이 정확히 0이 되도록 제약 조건을 부과한다.
• 폐쇄형 마르코프 체인의 불변 분포를 사용하여 재귀성과 안전성을 검증하는 데 핵심적인 역할을 한다.
• 최적 해와 불변 분포의 지지 집합을 연결하는 이중 형식을 유도하여, 최대 안전 재귀 집합을 식별할 수 있도록 한다.
• 계산 복잡도를 줄이기 위해 연합 분포가 아닌 상태 마진 분포의 엔트로피를 최대화하는 수정된 엔트로피 목표를 도입하며, 동일한 지지 집합을 유지한다.

실험 결과

연구 질문

• RQ1 시간 불변이며 기억이 없는 제어 정책 하에, 제어된 마르코프 체인에서 재귀적이면서도 안전한(즉, 금지된 상태에 도달할 수 없는) 상태의 최대 집합은 무엇인가?
• RQ2 이러한 최대 안전 재귀 집합은 볼록 최적화 프레임워크를 통해 체계적으로 계산할 수 있는가?
• RQ3 엔트로피 최대화 원리를 어떻게 활용하여 최대 안전 재귀를 달성하는 제어 정책을 설계할 수 있는가?
• RQ4 추가적인 볼록 제약 조건(예: 기대 제어 비용에 대한 제약)을 도입할 경우, 해의 구조와 가능성이 어떻게 영향을 받는가?
• RQ5 제안된 방법은 재귀성에 필요한 불변 분포의 구조를 유지하면서도 안전성을 보장하는가?

주요 결과

• 표현 $\mathbb{X}_{\mathbb{F}}^{R}$로 나타내는 최대 안전 재귀 상태 집합은 잘 정의되어 있으며, 적절한 제어 정책을 통해 달성 가능하다.
• 엔트로피 최대화를 기반으로 한 제안된 볼록 프로그램은 지지 집합이 정확히 $\mathbb{X}_{\mathbb{F}}^{R}$와 일치하는 해를 제공하며, 이로 인해 이 집합에 속한 모든 상태가 재귀적이면서도 안전함을 보장한다.
• 최적 제어 정책 $\mathcal{K}^{*}_{R}$는 식 (5)를 통해 볼록 프로그램의 최적 해로부터 유도될 수 있으며, 이는 폐쇄형 체인의 최대 안전 재귀 집합을 갖도록 보장한다.
• 연합 분포가 아닌 상태 마진의 엔트로피를 최대화하는 수정된 볼록 프로그램은 동일한 지지 집합 $\mathbb{S}_{f^{*}_{X}}$를 유지하므로, 계산 비용을 줄이면서도 동일한 해를 유지한다.
• 추가적인 볼록 제약 조건, 예를 들어 $\sum h(u)f_{XU}(x,u) \leq \beta$, 은 볼록성을 유지하면서 최적화에 통합될 수 있으며, 이는 시간에 따라 $h(U_k)$의 기대값을 제한한다.
• 안전 재귀 집합이 유일한 비주기적 클래스만 포함할 경우, 임의의 초기 분포에서 시작하더라도 어떤 함수 $h(U_k)$의 장기 기대값은 $\beta$ 이하로 제한된다.