[논문 리뷰] Coupling and a generalised Policy Iteration Algorithm in continuous time

Saul Jacka, Aleksandar Mijatović외 1명|arXiv (Cornell University)|2017. 07. 25.

Advanced Control Systems Optimization참고 문헌 15인용 수 3

한 줄 요약

이 논문은 드리프트 및 확산 계수를 함께 제어할 수 있는 연속시간 제어 확산 과정에 대한 일반화된 정책 반복 알고리즘을 제안한다. Lindvall과 Rogers의 미러 커플링을 사용하여 지ayoff의 단조 수렴과 정책의 국소 균일 수렴을 입증함으로써, 모델 데이터에 대한 검증 가능한 조건 하에서 알고리즘이 잘 정의되어 가치 함수로 수렴함을 보인다.

ABSTRACT

We analyse a version of the policy iteration algorithm for the discounted infinite-horizon problem for controlled multidimensional diffusion processes, where both the drift and the diffusion coefficient can be controlled. We prove that, under assumptions on the problem data, the payoffs generated by the algorithm converge monotonically to the value function and an accumulation point of the sequence of policies is an optimal policy. The algorithm is stated and analysed in continuous time and state, with discretisation featuring neither in theorems nor the proofs. A key technical tool used to show that the algorithm is well-defined is the mirror coupling of Lindvall and Rogers.

연구 동기 및 목표

• 무한 시간 할인 제어 문제에 대한 연속시간 및 연속상태공간 정책 반복 알고리즘을 개발한다.
• 알고리즘에 의해 생성된 지ayoff 수열이 가치 함수로 단조 수렴함을 증명한다.
• 알고리즘에 의해 생성된 정책 수열의 부분수열이 국소 균일하게 최적 정책으로 수렴함을 확립한다.
• Sobolev 공간에 의존하지 않고, 관련 편미분방정식의 고전적 해를 사용하여 알고리즘이 잘 정의됨을 보장한다.
• 표준 커플링 조건이 실패할 경우에도 핵심 기술적 도구로 미러 커플링을 사용하여 수렴을 입증한다.

제안 방법

• 알고리즘은 이산화 없이 연속시간에서 제작되며, 임의의 양수 스케일링 함수를 사용하는 일반화된 정책 반복 프레임워크에 기반한다.
• Lindvall과 Rogers의 미러 커플링을 사용하여 국소 리프시츠 성질을 가진 마코프 정책의 지ayoff 함수가 고전적 의미에서 포아송 방정식을 만족함을 입증한다.
• 커플링된 확산 과정의 시간변환 거리 과정과 베세르 과정 간의 국소 경로 기반 비교를 통해 커플링의 고확률 성공을 증명한다.
• 대각선화 방법과 아르ツ엘라-아스coli 유형의 컴팩트성 결과를 통해 지ayoff와 정책의 수렴을 확립한다.
• 값 함수가 지ayoff 수열의 점별 극한임을 보이고, 극한 정책이 최적임을 증명한다.
• 이론적 결과는 수렴 속도가 매우 빠른 수치 예제를 통해 지지되며, 여섯 번 이내에 최적 정책을 도출한다.

실험 결과

연구 질문

• RQ1 일반화된 정책 반복 알고리즘이 연속시간 제어 확산 과정에서 가치 함수로 단조 수렴하는가?
• RQ2 해밀턴-자코비-벨리만 방정식의 일반화된 해가 아닌 고전적 해를 사용하여 정책 반복 알고리즘을 잘 정의할 수 있는가?
• RQ3 미러 커플링이 국소 리프시츠 성질을 가진 정책의 지ayoff 함수가 포아송 방정식의 고전적 해임을 보장하는 조건은 무엇인가?
• RQ4 알고리즘에 의해 생성된 정책 수열이 국소 균일하게 최적 정책으로 수렴할 수 있는가?
• RQ5 드리프트 및 확산 계수 모두를 제어할 경우 알고리즘이 여전히 잘 정의되고 수렴하는가?

주요 결과

• 모델 데이터에 대한 검증 가능한 가정 하에서 정책 반복 알고리즘에 의해 생성된 지ayoff 수열은 가치 함수로 단조 수렴한다.
• 알고리즘에 의해 생성된 정책 수열의 부분수열은 국소 균일하게 국소 리프시츠 성질을 가진 극한 정책으로 수렴한다.
• 극한 정책이 최적임이 증명되며, 그 가치 함수는 지ayoff 수열의 점별 극한과 같다.
• 미러 커플링 기법은 표준 커플링 조건이 실패할 경우에도 국소 리프시츠 마코프 정책의 지ayoff 함수가 포아송 방정식의 고전적 해임을 보장한다.
• 알고리즘은 이론적 증명 및 정의에서 이산화 없이 연속시간에서 잘 정의되며, 고전적 PDE 해에 기반한다.
• 수치 예제는 빠른 수렴을 보이며, 여섯 번 이내에 최적 정책을 찾을 수 있음을 보여준다.