[논문 리뷰] Price decomposition in large-scale stochastic optimal control

Kengy Barty, Pierre Carpentier외 2명|arXiv (Cornell University)|2010. 12. 09.

Stochastic processes and financial applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 라그랑주 승수법과 이중 과정의 통계적 근사 기법을 사용하여 대규모 스토케스티크 최적 제어 문제를 분해 기반으로 해결하는 알고리즘을 제안한다. 수렴성을 증명하고, 특정 조건 하에서 최적 제어 정책이 부분적으로 분산화됨을 보이며, 공유 노이즈 의존성을 유지하면서도 하위 시스템을 분리함으로써 고차원 문제의 효율적 해결이 가능함을 보여준다.

ABSTRACT

We are interested in optimally driving a dynamical system that can be influenced by exogenous noises. This is generally called a Stochastic Optimal Control (SOC) problem and the Dynamic Programming (DP) principle is the natural way of solving it. Unfortunately, DP faces the so-called curse of dimensionality: the complexity of solving DP equations grows exponentially with the dimension of the information variable that is sufficient to take optimal decisions (the state variable). For a large class of SOC problems, which includes important practical problems, we propose an original way of obtaining strategies to drive the system. The algorithm we introduce is based on Lagrangian relaxation, of which the application to decomposition is well-known in the deterministic framework. However, its application to such closed-loop problems is not straightforward and an additional statistical approximation concerning the dual process is needed. We give a convergence proof, that derives directly from classical results concerning duality in optimization, and enlghten the error made by our approximation. Numerical results are also provided, on a large-scale SOC problem. This idea extends the original DADP algorithm that was presented by Barty, Carpentier and Girardeau (2010).

연구 동기 및 목표

• 스토케스티크 최적 제어 문제에서 차원의 저주를 해결하기 위해 대규모 문제를 더 작은 다룰 수 있는 부분문제로 분해하는 것.
• 이전에 결정론적 환경에서 사용된 분해 기법을 닫힌 루프 스토케스티크 제어 프레임워크로 확장하는 것.
• 동적 피드백 기반 제어 문제에서 라그랑주 승수법의 실용적 적용을 가능하게 하는 통계적 근사 이중 과정을 개발하는 것.
• 고전적 이중성 이론을 사용하여 제안된 알고리즘의 수렴성을 증명하고, 통계적 근사로 인해 발생하는 오차를 정량화하는 것.
• 다양한 단위와 랜덤 외부 요동을 포함하는 대규모 에너지 관리 문제에 대해 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 이 방법은 원래의 스토케스티크 최적 제어 문제를 더 작은 부분문제로 분해하기 위해 라그랑주 승수법을 적용한다.
• 외부 노이즈 존재 하에 피드백 제어의 복잡성을 다루기 위해 이중 과정의 통계적 근사를 도입한다.
• 노이즈 과정이 특정 독립성 가정 하에 있을 경우 벨먼 함수의 가산적 구조를 활용한다.
• 알고리즘은 지역 상태 변수와 국소 노이즈 분포에만 의존하는 부분문제를 반복적으로 해결함으로써 계산 부담을 감소시킨다.
• 수렴성은 최적화 이론에서 고전적인 이중성 결과를 활용하여 확립되며, 오차 한계는 이중 과정의 근사 정확도에서 유도된다.
• 다양한 발전 단위와 랜덤 수요/유입 과정을 포함하는 대규모 에너지 관리 문제에서 수치적 검증을 수행하였다.

실험 결과

연구 질문

• RQ1 피드백 정책에서의 직관적 분해가 어려운 상황에서도 라그랑주 승수법이 닫힌 루프 스토케스티크 최적 제어 문제에 효과적으로 적용될 수 있는가?
• RQ2 최적 제어 정책이 지역적 및 공유 노이즈 과정에만 의존하는 부분적으로 분산화되는 조건은 무엇인가?
• RQ3 스토케스티크 동적 프로그래밍의 이중 과정은 수렴 보장을 훼손하지 않고 어떻게 통계적으로 근사할 수 있는가?
• RQ4 이중 변수에서 통계적 근사로 인해 발생하는 이론적 오차 한계는 무엇인가?
• RQ5 제안된 방법은 고차원 상태 공간을 가진 대규모 스토케스티크 최적 제어 문제를 효율적으로 해결할 수 있는가?

주요 결과

• 시스템의 비용과 동역학이 가산적이고 노이즈 과정이 공유 변수를 조건으로 독립일 경우 최적 피드백 정책은 부분적으로 분산화된다.
• 주어진 조건 하에서 벨먼 함수는 여전히 가산적 유지되며, 이는 독립적인 부분문제로의 분해를 가능하게 한다.
• 고전적 이중성 이론을 활용하여 수렴성이 확보되며, 오차 한계는 이중 과정의 통계적 근사 정확도에서 유도된다.
• 수치 결과는 대규모 전력 관리 문제에서 제안된 방법의 효과성을 확인하며, 확장성과 계산 가능성 모두를 입증한다.
• 공유 노이즈(예: 공통 수요 또는 유입 과정)의 존재는 최소화 단계에서 결합성을 유도하지만, 국소 분포를 사용할 경우 분해가 가능하다.
• 상태공간 복잡도의 지수적 증가를 피함으로써 고차원 환경에서 표준 동적 프로그래밍에 비해 성능이 뛰어나다.