[논문 리뷰] Pointwise second-order necessary conditions for stochastic optimal controls, Part II: The general case

Haisen Zhang, Xu Zhang|arXiv (Cornell University)|2015. 09. 26.

Optimization and Variational Analysis참고 문헌 18인용 수 5

한 줄 요약

이 논문은 제어 영역이 비볼록이고 제어가 드리프트 및 확산 계수 양쪽에 영향을 주는 일반적인 경우에 대해 스토하스틱 최적 제어의 점별 제2차 필요조건을 수립한다. 네 개의 변분 및 네 개의 양성 방정식을 도입함으로써, 포트리아긴의 의미에서 제2차 최대원리가 도출되며, 고전 이론을 비볼록 설정으로 확장하고 해밀토니안 구조 내에서 완전한 제2차 정보를 포함한다.

ABSTRACT

This paper is the second part of our series of work to establish pointwise second-order necessary conditions for stochastic optimal controls. In this part, we consider the general cases, i.e., the control region is allowed to be nonconvex, and the control variable enters into both the drift and the diffusion terms of the control systems. By introducing four variational equations and four adjoint equations, we obtain the desired necessary conditions for stochastic singular optimal controls in the sense of Pontryagin-type maximum principle.

연구 동기 및 목표

• 비볼록 제어 영역을 초월한 스토하스틱 최적 제어의 제2차 필요조건을 확장하기.
• 스토하스틱 미분방정식에서 제어 변수가 드리프트 및 확산 항 모두에 영향을 주는 경우를 다루기.
• 특이 최적 제어에 대해 포트리아긴 의미의 점별 제2차 최대원리 유도하기.
• 일차 조건이 비퇴화되는 경우에 제2차 효과를 정확히 포착하기 위해 다수의 변분 및 양성 방정식을 사용하는 프레임워크 개발하기.

제안 방법

• 제어 및 상태의 변형을 모델링하기 위해 제1차 및 제2차 효과를 포착하는 네 개의 변분 방정식 도입.
• 변분 과정과 관련된 네 개의 양성 방정식 정의하여 쌍대성 원리를 통해 필요조건 유도.
• 바늘 변형 기법을 사용해 비볼록 제어 집합에서도 허용 가능한 제어 공간의 변형 생성.
• 이토의 공식과 제4차까지의 테일러 전개를 적용해 변형에 따른 비용 기능의 변화 분석.
• 비용 변화에서 제2차 항의 극한을 분석함으로써 점별 제2차 조건 유도 — 해밀토니안의 헤시안을 포함.
• 해밀토니안의 2차 도함수와 변분 상태를 포함하는 음이 아닌 이차형식 형태의 필요조건 수립.

실험 결과

연구 질문

• RQ1 제어 영역이 비볼록일 경우 스토하스틱 최적 제어의 제2차 필요조건을 어떻게 도출할 수 있는가?
• RQ2 제어에 의존하는 확산이 존재할 경우 비용 기능의 제2차 변화의 구조는 어떠한가?
• RQ3 일차 조건이 퇴화된 경우 포트리아긴 유형의 최대원리를 제2차 정보를 포함하도록 어떻게 강화할 수 있는가?
• RQ4 다수의 양성 및 변분 방정식은 스토하스틱 제어에서 제2차 효과를 포착하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 제어 집합이 비볼록일 경우에도 성립하는 일반적인 경우에 대해 스토하스틱 최적 제어의 점별 제2차 필요조건을 수립한다.
• 제2차 조건은 최적 궤적 沿해 평가된 해밀토니안의 2차 도함수와 변분 상태를 포함하는 음이 아닌 이차형식으로 표현된다.
• 일차 조건이 비퇴화일 경우 조건은 제1차 포트리아긴 원리로 축소되어 기존 이론과의 일관성을 보장한다.
• 유도 과정은 제2차 효과의 정확한 추적을 가능하게 하는 새로운 네 개의 변분 방정식 및 네 개의 양성 방정식 체계에 의존한다.
• 핵심 결과는 모든 허용 가능한 바늘 변형에 대해 비용 기능의 제2차 변화가 음이 아니며, 이는 해밀토니안의 헤시안을 포함하는 이차부등식 형태의 필요조건을 이끈다.