[논문 리뷰] Optimal strategies for impulse control of piecewise deterministic Markov processes

Benoîte de Saporta, François Dufour외 1명|arXiv (Cornell University)|2016. 03. 25.

Advanced Control Systems Optimization참고 문헌 19인용 수 11

한 줄 요약

이 논문은 조각적 결정성 마르코프 과정(PDMPs)에 대한 ε-최적의 펄스 제어 전략을 단일 점프 또는 간섭 연산자를 사용하여 명시적이고 새로운 구성 방식으로 제안한다. 이전 방법들과 달리 보조 최적 정지 문제의 해법이나 전체 가치 함수의 계산이 필요로 하지 않으며, 단지 무간섭 전략의 비용만 필요로 하여 수치적 근사와 보장된 수렴성을 갖는 구조적 전략 생성이 가능하다. 이 전략은 최적 비용으로부터 ε 이내로 수렴한다.

ABSTRACT

This paper deals with the general discounted impulse control problem of a piecewise deterministic Markov process. We investigate a new family of epsilon-optimal strategies. The construction of such strategies is explicit and only necessitates the previous knowledge of the cost of the no-impulse strategy. In particular, it does not require the resolution of auxiliary optimal stopping problem or the computation of the value function at each point of the state space. This approach is based on the iteration of a single-jump-or-intervention operator associated to the piecewise deterministic Markov process.

연구 동기 및 목표

• 조각적 결정성 마르코프 과정(PDMPs)에 대한 무한 시간 할인 펄스 제어에 대한 새로운 ε-최적 전략의 가족을 개발하는 것.
• 모든 상태점에서 가치 함수를 계산하거나 보조 최적 정지 문제를 해결할 필요 없이, 무간섭 전략의 비용만을 요구하는 전략을 구성하는 것.
• 수치적 구현과 근사가 가능한 구조적 방법을 제공하여 ε-최적 전략을 생성하는 것.
• U.S. Gugerli의 ε-최적 정지 시간 프레임워크를 더 복잡한 펄스 제어 설정으로 확장하여 간섭 시점과 새로운 시작점 둘 다를 동시에 다루는 것.

제안 방법

• 해당 방법은 PDMP와 관련된 단일 점프 또는 간섭 연산자의 반복을 통해 근사 가치 함수의 수열을 구성한다.
• 전략을 명시적으로 표현하기 위해 보조 제어 과정을 도입하며, 간섭 시점과 새로운 상태는 rε^N₀(x)를 포함하는 임계값 기반 규칙에 의해 정의된다.
• ε-최적성 조건에서 유도된 정지 시간 t*(x)과 간섭 시점을 결정하는 임계값 rε^N₀(x)를 사용하는 전략이다.
• 유량, 점프 강도 λ, 그리고 마르코프 커널 Q를 포함한 PDMP의 경로 기반 동역학을 활용하여 간섭 규칙을 정의한다.
• 연속 상태와 남은 간섭 횟수 N₀를 함께 추적하는 변환된 상태 공간에 의존한다.
• 변분부등식이나 하미튼-자코비-벨리만 방정식을 해결하는 대신, 단일 연산자의 반복적 근사를 통해 근사하는 데 집중한다.

실험 결과

연구 질문

• RQ1 PDMPs에 대한 ε-최적의 펄스 제어 전략을 보조 최적 정지 문제의 해법이나 전체 가치 함수의 계산 없이 명시적으로 구성할 수 있는가?
• RQ2 단지 무간섭 전략의 비용과 단일 점프 또는 간섭 연산자만을 사용하여 ε-최적 전략을 생성할 수 있는가?
• RQ3 PDMPs의 경우 간섭 시점과 새로운 시작 상태를 동시에 최적화할 수 있는 구조적 방법은 무엇인가?
• RQ4 단일 연산자의 반복적 적용이 진정한 가치 함수로 ε 이내로 수렴하는 근사 가치 함수를 생성할 수 있는가?

주요 결과

• 제안된 전략은 단일 점프 또는 간섭 연산자의 반복을 통해 근사 가치 함수의 수열을 구성함으로써 ε-최적성을 달성한다.
• 이 방법은 보조 최적 정지 문제의 해법이나 모든 상태점에서 가치 함수를 계산할 필요 없이 무간섭 전략의 비용만을 요구한다.
• 구성은 완전히 명시적이고 구조적이며, ε-최적 전략의 직접적 구현과 수치적 근사를 가능하게 한다.
• 보조 과정는 그 비용이 정확히 근사 가치 함수와 일치하도록 설계되어 있어 최적 비용으로부터 ε 이내로 수렴함을 보장한다.
• 이 방법은 Gugerli의 ε-최적 정지 전략을 펄스 제어 설정으로 일반화하여 간섭 시점과 상태 선택을 동시에 다룬다.
• 이 방법은 PDMP 펄스 제어에 대한 ε-최적 전략의 수치적 근사에 대해 가용하고 구조적인 접근을 제공하는 최초의 방법이다.