[논문 리뷰] A comparison of sample-based Stochastic Optimal Control methods

Pierre Girardeau|arXiv (Cornell University)|2010. 02. 09.

Advanced Control Systems Optimization참고 문헌 13인용 수 4

한 줄 요약

이 논문은 성능 지표로 평균제곱오차(MSE)를 사용하여 시나리오 트리와 입자 기반 확률적 최적 제어 방법을 비교한다. 시나리오 트리는 시간 범위가 증가함에 따라 필요로 하는 시나리오 수가 지수적으로 증가하는 문제를 겪는 반면, 입자 방법은 시간 범위에 관계없이 안정적인 수렴을 유지하지만 상태공간 차원이 증가함에 따라 성능이 떨어진다.

ABSTRACT

In this paper, we compare the performance of two scenario-based numerical methods to solve stochastic optimal control problems: scenario trees and particles. The problem consists in finding strategies to control a dynamicalsystem perturbed by exogenous noises so as to minimize some expected cost along a discrete and finite time horizon. We introduce the Mean SquaredError (MSE) which is the expected $L^2$-distance between the strategy given by the algorithm and the optimal strategy, as a performance indicator for the two models. We study the behaviour of the MSE with respect to the number of scenarios used for discretization. The first model, widely studied in the Stochastic Programming community, consists in approximating the noise diffusion using a scenario tree representation. On a numerical example, we observe that the number of scenarios needed to obtain a given precision growsexponentially with the time horizon. In that sense, our conclusion on scenario trees is equivalent to the one in the work by Shapiro (2006) and has been widely noticed by practitioners. However, in the second part, we show using the same example that, by mixing Stochastic Programming and Dynamic Programmingideas, the particle method described by Carpentier et al. (2009) copes with this numerical difficulty: the number of scenarios needed to obtain a given precision now does not depend on the time horizon. Unfortunately, we alsoobserve that serious obstacles still arise from the system state space dimension.

연구 동기 및 목표

• 시나리오 트리 및 입자 기반 방법이 확률적 최적 제어 문제를 해결하는 데 있어 성능을 평가하고 비교하는 것.
• 시간 범위가 주어진 정확도를 확보하기 위해 필요한 시나리오 수에 미치는 영향을 정량화하는 것.
• 상태공간 차원이 입자 방법의 수렴에 미치는 영향을 평가하는 것.
• 입자 방법이 시나리오 트리 접근법에서 내재된 지수적 시나리오 증가 문제를 극복할 수 있는지 조사하는 것.

제안 방법

• 성능 지표로 평균제곱오차(MSE)를 사용하며, 이를 편향과 분산 성분으로 분해한다.
• 소음 확산을 시간에 따라 이산화하기 위해 시나리오 트리를 적용하고, 문제를 다단계 확률적 프로그래밍으로 간주한다.
• 확률적 프로그래밍과 동적 프로그래밍의 아이디어를 융합한 입자 방법을 사용하며, 반복적으로 최적성 조건을 해석하기 위해 샘플링을 수행한다.
• 최적 상태가 방문한 고확률 영역에 입자를 집중시켜 상태공간에 적응형 메esh를 구축한다.
• 근접 이웃 회귀를 사용하여 샘플된 입자로부터 피드백 제어를 근사한다.
• 시나리오 수 N에 대한 편향 및 분산 항의 수렴 속도를 평가한다.

실험 결과

연구 질문

• RQ1 시나리오 트리 방법에서 주어진 정확도를 확보하기 위해 필요한 시나리오 수가 시간 범위에 따라 지수적으로 증가하는가?
• RQ2 입자 방법이 다단계 문제에서 시간 범위에 관계없이 안정적인 수렴을 달성할 수 있는가?
• RQ3 상태공간 차원이 증가할수록 입자 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 동일한 수의 시나리오에서 입자 기반 전략의 분산이 시나리오 트리 접근법보다 유의미하게 낮은가?

주요 결과

• 시나리오 트리 방법은 시나리오 수 N에 대해 수렴 속도가 N^(-1/T)임을 보이며, 이는 시간 범위 T가 증가함에 따라 필요한 시나리오 수가 지수적으로 증가함을 의미한다.
• 입자 방법은 1차원 상태공간에서 편향 및 분산에 대해 약 N^(-1)의 수렴 속도를 보이며, 이는 시간 범위에 영향을 받지 않는다.
• 2차원 상태공간에서는 수렴 속도가 약 N^(-0.5)로 떨어지며, 이는 상태 차원에 대한 민감도가 증가함을 시사한다.
• 입자 방법의 분산 항은 시간 단계에 걸쳐 낮고 안정적인 반면, 시나리오 트리에서는 시간 범위에 따라 증가한다.
• 고차원 문제에서는 제곱 편향 항이 지배적이며, 이는 근접 이웃과 같은 현재의 회귀 연산자에 한계가 있음을 시사한다.
• 입자 방법은 시간 범위에 관계없이 수렴 특성이 유지되므로 다단계 문제에 유망한데, 상태공간의 차원 증가로 인해 성능이 저하된다.