[논문 리뷰] Meshless discretization of LQ-type stochastic control problems

Ralf Banisch, Carsten Hartmann|arXiv (Cornell University)|2013. 09. 28.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 3

한 줄 요약

이 논문은 무접선 갈레르킨 이산화 기법을 선형-제곱형(LQ)-유형의 확률적 제어 문제에 적용하여, 무한 시간 영역에서의 해를 구한다. 로그 변환을 통해 문제를 선형 경계값 문제로 변환하며, 강한 L² 오차 한계를 확보하고 마르코프 결정 문제와 이중성을 가지며, 공명 상태 집합의 확률 함수 기반 기저를 사용해 고차원 시스템, 예를 들어 분자 동역학 시스템에서도 적용 가능하다.

ABSTRACT

We propose a novel Galerkin discretization scheme for stochastic optimal control problems on an indefinite time horizon. The control problems are linear-quadratic in the controls, but possibly nonlinear in the state variables, and the discretization is based on the fact that problems of this kind can be transformed into linear boundary value problems by a logarithmic transformation. We show that the discretized linear problem is dual to a Markov decision problem, the precise form of which depends on the chosen Galerkin basis. We prove a strong error bound in $L^{2}$ for the general scheme and discuss two special cases: a variant of the known Markov chain approximation obtained from a basis of characteristic functions of a box discretization, and a sparse approximation that uses the basis of committor functions of metastable sets of the dynamics; the latter is particularly suited for high-dimensional systems, e.g., control problems in molecular dynamics. We illustrate the method with several numerical examples, one being the optimal control of Alanine dipeptide to its helical conformation.

연구 동기 및 목표

• 기존의 메쉬 기반 PDE 해법을 피하는 LQ 유형의 확률적 제어 문제를 위한 무접선 이산화 기법을 개발한다.
• 고차원 시스템에서 PDE 기반 방법의 계산 비효율성을 해결한다.
• 기저 함수의 선택을 통해 갈레르킨 이산화와 마르코프 결정 문제 사이의 이중성을 수립한다.
• 일반적인 기법에 대해 강한 L² 오차 한계를 확립하여 수렴성을 보장한다.
• 특히 분자 동역학에서의 고차원 제어 문제를 효율적으로 해결할 수 있도록, 공명 상태 집합의 확률 함수 기반 기저를 활용한다.

제안 방법

• 원래의 비선형 HJB 방정식을 선형 경계값 문제로 변환하기 위해 로그 변환을 적용한다.
• 사용자 정의 기저 함수를 사용한 갈레르킨 프로젝션을 적용하여 연속 문제를 이산 선형 시스템으로 변환한다.
• 유도된 이산 문제는 전이 비율이 기저 함수와 시스템 동역학으로부터 명시적으로 유도되는 마르코프 결정 문제와 이중성을 가진다.
• 두 가지 특정 기저 선택 방식을 분석한다: 상자 이산화를 위한 특성 함수(마르코프 체인 근사로 복원), 그리고 희소하고 공명 상태 인식 기반의 이산화를 위한 확률 함수.
• 최적 근사 오차 제어를 통해 최선의 근사 오차 제어를 통해 강한 L² 오차 한계를 확보하며, 이는 부록 B에서 증명된다.
• 경로 확률 공식과 마일스톤 기반 기법을 통해 이산화된 실행 비용의 샘플링이 가능하며, 이는 부록 E에서 상세히 기술되어 있다.

실험 결과

연구 질문

• RQ1 비선형 상태 의존성을 가진 LQ 유형의 확률적 제어 문제에 대해 무접선 갈레르킨 방법을 효과적으로 적용할 수 있는가?
• RQ2 갈레르킨 기저의 선택이 이중 마르코프 결정 문제와 이산화 정확도에 미치는 영향은 어떠한가?
• RQ3 이 방법의 수렴 행동은 어떠한가? 그리고 엄밀한 L² 오차 한계를 확립할 수 있는가?
• RQ4 이 방법은 분자 동역학와 같은 고차원 시스템을 효율적으로 처리할 수 있는가?
• RQ5 공명 상태 집합의 확률 함수 기반 기저는 표준 마르코프 체인 근사와 비교해 희소성과 정확도 측면에서 어떻게 다른가?

주요 결과

• 제안된 갈레르킨 기법은 최적 근사 오차 제어를 통해 강한 L² 오차 한계를 확보하며, 적절한 기저 선택 조건 하에서 수렴성을 보장한다.
• 이산화된 문제는 전이 비율이 갈레르킨 기저와 시스템 파rameter로부터 명시적으로 유도되는 마르코프 결정 문제와 이중성을 가진다.
• 상자 이산화를 위한 특성 함수를 사용하면 기존에 알려진 마르코프 체인 근사와 일치하여 방법의 일관성을 검증한다.
• 공명 상태 집합을 위한 확률 함수를 사용하면 희소하고 고차원적인 이산화가 가능하며, 명확한 공명 상태를 가진 시스템에 특히 효과적이다.
• 1D 삼중 우물 잠재력과 알라닌 다펩타이드에서의 수치 결과는 이 방법이 공명 상태 전이에 대한 최적 제어력을 높은 정확도로 계산할 수 있음을 보여준다.
• 마일스톤 기반 기법을 통해 이산화된 실행 비용의 샘플링이 가능하며, 이는 수식 (34)에 의해 체계적으로 정의된다.